RAG アーキテクチャをゼロから構築する: 設計からデプロイまで

RAG (Retrieval Augmented Generation) は、LLM の弱点である「最新情報の欠如」と「ハルシネーション」を、外部ナレッジの検索を組み合わせることで克服するアーキテクチャです。本記事では、社内ドキュメント検索システムを題材に、RAG を実務で構築する際の設計指針を解説します。

最初のステップは、コーパスの設計です。社内ドキュメントは多様なフォーマット (PDF, Word, Confluence, Slack 等) で散在しているため、ETL パイプラインで統一形式に変換する必要があります。次に、チャンク分割の戦略です。意味的に閉じた単位で分割するセマンティックチャンキングが、固定長分割よりも検索精度を高めます。

ベクトル検索エンジンとしては、Pinecone、Weaviate、pgvector などの選択肢があります。本番運用では、レイテンシ・コスト・運用負荷の三軸で比較するとよいでしょう。生成側は、用途に応じて GPT-4o、Claude、Gemini などを使い分け、フェイルオーバ機構を組み込むのが推奨です。

最後に評価です。RAG の評価は、検索の Recall@k と生成の忠実性 (Faithfulness)、回答の正確性 (Answer Correctness) の3軸で測定します。Ragas や DeepEval などのフレームワークを活用すると、継続的評価の仕組みを比較的容易に構築できます。