FastAPIとPineconeでRAG！信頼性の高い栄養チャットボット構築ガイド

mkdir nutritrag-project
cd nutritrag-project
python -m venv venv
source venv/bin/activate  # Windowsでは `venv\Scripts\activate`

# requirements.txt
fastapi
uvicorn[standard]
pinecone-client
sentence_transformers
python-dotenv
langchain
langchain-openai

pip install -r requirements.txt

# ingest.py
import os
from dotenv import load_dotenv
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import DirectoryLoader
from langchain_community.embeddings import HuggingFaceEmbeddings
from pinecone import Pinecone, ServerlessSpec

# 環境変数を読み込む
load_dotenv()

PINECONE_API_KEY = os.getenv("PINECONE_API_KEY")
PINECONE_INDEX_NAME = "nutritrag"

def ingest_data():
    """Pineconeにドキュメントを読み込み、チャンク化し、埋め込み、保存する。"""
    # 1. dataディレクトリからドキュメントを読み込む
    loader = DirectoryLoader('data/', glob="**/*.txt", show_progress=True)
    documents = loader.load()
    print(f"{len(documents)}個のドキュメントを読み込みました。")

    # 2. ドキュメントをより小さなピースにチャンク化
    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
    docs = text_splitter.split_documents(documents)
    print(f"{len(docs)}個のチャンクに分割しました。")

    # 3. 埋め込みを作成
    embeddings_model = HuggingFaceEmbeddings(
        model_name="sentence-transformers/all-MiniLM-L6-v2"
    )
    print("埋め込みモデルを読み込みました。")

    # 4. Pineconeを初期化し、インデックスを作成
    pc = Pinecone(api_key=PINECONE_API_KEY)

    if PINECONE_INDEX_NAME not in pc.list_indexes().names():
        pc.create_index(
            name=PINECONE_INDEX_NAME,
            dimension=384,  # all-MiniLM-L6-v2の次元数
            metric='cosine',
            spec=ServerlessSpec(
                cloud='aws',
                region='us-east-1'
            )
        )
        print(f"Pineconeインデックス '{PINECONE_INDEX_NAME}' を作成しました。")
    
    index = pc.Index(PINECONE_INDEX_NAME)

    # 5. バッチでPineconeに埋め込みをアップサート
    batch_size = 100
    for i in range(0, len(docs), batch_size):
        batch = docs[i:i+batch_size]
        ids = [f"doc_{i+j}" for j in range(len(batch))]
        texts = [doc.page_content for doc in batch]
        embeds = embeddings_model.embed_documents(texts)
        metadata = [doc.metadata for doc in batch]
        
        # アップサート用のベクトルを準備
        vectors_to_upsert = []
        for doc_id, embed, meta in zip(ids, embeds, metadata):
            vectors_to_upsert.append({
                "id": doc_id,
                "values": embed,
                "metadata": { "text": texts[ids.index(doc_id)], **meta }
            })
        
        index.upsert(vectors=vectors_to_upsert)
        print(f"バッチ {i//batch_size + 1} をアップサートしました")

    print("データ取込が完了しました。")

if __name__ == "__main__":
    ingest_data()

python ingest.py

# main.py
import os
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from dotenv import load_dotenv
from pinecone import Pinecone
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_openai import ChatOpenAI
from langchain.chains import RetrievalQA
from langchain_pinecone import PineconeVectorStore

# 環境変数を読み込む
load_dotenv()

# APIキーと設定を初期化
PINECONE_API_KEY = os.getenv("PINECONE_API_KEY")
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
PINECONE_INDEX_NAME = "nutritrag"

# FastAPIアプリを初期化
app = FastAPI(
    title="NutriRAG API",
    description="科学的論文に基づいた栄養質問用のAPI。",
    version="1.0.0",
)

# リクエストボディのPydanticモデル
class QueryRequest(BaseModel):
    question: str

# 埋め込みモデルとLLMを初期化
embeddings_model = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")
llm = ChatOpenAI(api_key=OPENAI_API_KEY, model_name='gpt-3.5-turbo', temperature=0.0)

# Pineconeベクトルストアを初期化
vectorstore = PineconeVectorStore.from_existing_index(
    index_name=PINECONE_INDEX_NAME, 
    embedding=embeddings_model
)

# RetrievalQAチェーンを作成
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore.as_retriever(),
    return_source_documents=True
)

@app.post("/ask")
async def ask_question(request: QueryRequest):
    """
    栄養質問を受け取り、Pineconeから関連するコンテキストを取得し、
    LLMを使用して回答を生成します。
    """
    if not request.question:
        raise HTTPException(status_code=400, detail="質問は必須です。")
    
    try:
        response = qa_chain.invoke({"query": request.question})
        
        answer = response.get("result", "回答が見つかりません。")
        source_documents = response.get("source_documents", [])
        
        sources = []
        if source_documents:
            sources = [
                {"source": doc.metadata.get("source", "不明"), "text": doc.page_content}
                for doc in source_documents
            ]

        return {"answer": answer, "sources": sources}

    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

@app.get("/")
def read_root():
    return {"message": "NutriRAG APIへようこそ。テストするには/docsエンドポイントを使用してください。"}

uvicorn main:app --reload