GoとRedisで超高速栄養検索APIを構築する

docker run -d --name redis-stack -p 6379:6379 -p 8001:8001 redis/redis-stack:latest

mkdir go-redis-search
cd go-redis-search
go mod init github.com/your-username/go-redis-search

go get github.com/redis/go-redis/v9
go get github.com/gin-gonic/gin

// main.go
package main

import (
	"context"
	"encoding/json"
	"fmt"
	"log"
	"math/rand"
	"time"

	"github.com/gin-gonic/gin"
	"github.com/redis/go-redis/v9"
)

var (
	ctx = context.Background()
	rdb *redis.Client
)

// FoodItemは栄養データの構造を表します
type FoodItem struct {
	Name     string  `json:"name"`
	Brand    string  `json:"brand"`
	Calories float64 `json:"calories"`
	Protein  float64 `json:"protein"`
	Fat      float64 `json:"fat"`
	Carbs    float64 `json:"carbs"`
}

func main() {
	// Redisに接続
	rdb = redis.NewClient(&redis.Options{
		Addr: "localhost:6379",
	})

	_, err := rdb.Ping(ctx).Result()
	if err != nil {
		log.Fatalf("Redisに接続できませんでした: %v", err)
	}
	log.Println("Redisに接続しました！")

	// データの投入と検索インデックスの作成
	seedDataAndCreateIndex()

    // Gin路由器とAPIエンドポイントの設定（後で追加）
    // ...
}

func seedDataAndCreateIndex() {
	// データが既に投入されているか確認
	count, err := rdb.Exists(ctx, "food:1").Result()
	if err != nil {
		log.Fatalf("既存データの確認中にエラー: %v", err)
	}
	if count > 0 {
		log.Println("データは既に投入済みです。投入をスキップします。")
		return
	}

	log.Println("データを投入中...（少し時間がかかる場合があります）")

	// 生成用のサンプルデータ
	brands := []string{"HealthyCo", "NutriFoods", "FitBites", "Organics"}
	names := []string{"Yogurt", "Chicken Breast", "Almonds", "Oats", "Apple"}
	totalItems := 1_000_000 // 百万件作成します！

	// パフォーマンス向上のため、一括挿入にパイプラインを使用
	pipe := rdb.Pipeline()
	for i := 1; i <= totalItems; i++ {
		item := FoodItem{
			Name:     fmt.Sprintf("%s %s", brands[rand.Intn(len(brands))], names[rand.Intn(len(names))]),
			Brand:    brands[rand.Intn(len(brands))],
			Calories: float64(rand.Intn(500) + 50),
			Protein:  float64(rand.Intn(50)),
			Fat:      float64(rand.Intn(30)),
			Carbs:    float64(rand.Intn(100)),
		}

		// 構造体をJSONにマーシャル
		jsonBytes, _ := json.Marshal(item)
		key := fmt.Sprintf("food:%d", i)
		
		// JSON.SETコマンドをパイプラインに追加
		pipe.JSONSet(ctx, key, "$", string(jsonBytes))
	}

	// パイプラインを実行
	_, err = pipe.Exec(ctx)
	if err != nil {
		log.Fatalf("データの投入に失敗しました: %v", err)
	}
	log.Printf("%d件の投入に成功しました。\n", totalItems)

	// RediSearchインデックスの作成（次のステップで詳しく説明）
}

// main.go（seedDataAndCreateIndex関数内）

// ... データ投入後

log.Println("検索インデックスを作成中...")

// インデックススキーマ定義
schema := redis.NewSchema().
    AddField(redis.NewTextFieldOptions("$.name", redis.TextFieldOptions{Weight: 5.0, As: "name"})).
    AddField(redis.NewTextFieldOptions("$.brand", redis.TextFieldOptions{As: "brand"})).
    AddField(redis.NewNumericFieldOptions("$.calories", redis.NumericFieldOptions{As: "calories"})).
    AddField(redis.NewNumericFieldOptions("$.protein", redis.NumericFieldOptions{As: "protein"})).
    AddField(redis.NewNumericFieldOptions("$.fat", redis.NumericFieldOptions{As: "fat"})).
    AddField(redis.NewNumericFieldOptions("$.carbs", redis.NumericFieldOptions{As: "carbs"}))

// インデックスを作成
err = rdb.FTCreate(ctx, "idx:foods", &redis.FTCreateOptions{
    Prefix: []string{"food:"},
    Schema: schema,
}).Err()

// 「インデックスは既に存在します」エラーは無視
if err != nil && err.Error() != "Index already exists" {
    log.Fatalf("インデックスの作成に失敗しました: %v", err)
}

if err == nil {
    log.Println("検索インデックスが正常に作成されました。")
} else {
    log.Println("検索インデックスは既に存在します。")
}

go run main.go
# 出力：
# Connected to Redis!
# Seeding data... (this might take a moment)
# Successfully seeded 1000000 items.
# Creating search index...
# Search index created successfully.

// main.go

// ... (既存のコードをそのまま)

// 変更後のmain関数
func main() {
	// Redisに接続
	rdb = redis.NewClient(&redis.Options{
		Addr: "localhost:6379",
	})

	_, err := rdb.Ping(ctx).Result()
	if err != nil {
		log.Fatalf("Redisに接続できませんでした: %v", err)
	}
	log.Println("Redisに接続しました！")

	// データの投入と検索インデックスの作成
	seedDataAndCreateIndex()

	// Gin路由のセットアップ
	router := gin.Default()
	router.GET("/search", searchHandler)

	log.Println(":8080でサーバーを起動中")
	router.Run(":8080")
}

func searchHandler(c *gin.Context) {
	query := c.Query("q")
	if query == "" {
		c.JSON(400, gin.H{"error": "クエリパラメータ 'q' は必須です"})
		return
	}

	// RediSearch用のクエリをサニタイズしてフォーマット
	// 例：名前とブランドでの簡単な部分一致検索
	searchQuery := fmt.Sprintf("@name|brand:%s*", query)

	// 検索を実行
	docs, _, err := rdb.FTSearch(ctx, "idx:foods", searchQuery, &redis.FTSearchOptions{
		Limit: &redis.Limit{
			Num: 10, // 結果を10件に制限
		},
	}).Result()

	if err != nil {
		c.JSON(500, gin.H{"error": "検索の実行に失敗しました"})
		return
	}
    
    // ドキュメントのリストが返ってきます。最初の要素は合計数、
    // その後はキーと値のペアです。
	var results []FoodItem
	for i := 1; i < len(docs); i++ {
        // 各ドキュメントは、フィールドが続くキーです
		doc, ok := docs[i].(redis.Document)
        if !ok {
            continue
        }

        // ドキュメントのプロパティにはJSON文字列が含まれています
		var item FoodItem
		err := json.Unmarshal([]byte(doc.Properties["$"].(string)), &item)
		if err == nil {
			results = append(results, item)
		}
	}

	c.JSON(200, results)
}

# 別のターミナルで
curl "http://localhost:8080/search?q=healthy%20yogurt"

// main.go（更新されたsearchHandler）

func searchHandler(c *gin.Context) {
	query := c.Query("q")
	if query == "" {
		c.JSON(400, gin.H{"error": "クエリパラメータ 'q' は必須です"})
		return
	}

	cacheKey := "cache:" + query

	// 1. まずキャッシュを確認
	cachedResult, err := rdb.Get(ctx, cacheKey).Result()
	if err == nil {
		// キャッシュヒット！
		var results []FoodItem
		json.Unmarshal([]byte(cachedResult), &results)
		c.JSON(200, results)
		return
	}

	// 2. キャッシュミス。RediSearchにクエリ
	searchQuery := fmt.Sprintf("@name|brand:%s*", query)
	docs, _, err := rdb.FTSearch(ctx, "idx:foods", searchQuery, &redis.FTSearchOptions{
		Limit: &redis.Limit{Num: 10},
	}).Result()

	if err != nil {
		c.JSON(500, gin.H{"error": "検索の実行に失敗しました"})
		return
	}

	var results []FoodItem
    // ... (前述と同じパースロジック)
    for i := 1; i < len(docs); i++ {
		doc, ok := docs[i].(redis.Document)
        if !ok { continue }
		var item FoodItem
		err := json.Unmarshal([]byte(doc.Properties["$"].(string)), &item)
		if err == nil {
			results = append(results, item)
		}
	}

	// 3. TTL付きで結果をキャッシュに保存
	jsonBytes, _ := json.Marshal(results)
	err = rdb.Set(ctx, cacheKey, jsonBytes, 5*time.Minute).Err()
	if err != nil {
		// エラーをログに記録하지만、リクエストは失敗させない
		log.Printf("結果のキャッシュに失敗しました: %v", err)
	}

	c.JSON(200, results)
}

# -t = スレッド、-c = 接続数、-d = 期間
wrk -t8 -c100 -d30s "http://localhost:8080/search?q=yogurt"