初めに

検索拡張生成（Retrieval Augmented Generation, RAG）は現代の自然言語処理の分野において特に注目されている技術の一つです。RAGは大規模言語モデル（LLM）に検索技術を組み合わせることで、従来のLLMでは正確に返答できなかった質問にも対応することができます。

本記事ではRAGの概念やその利用場面を簡単に紹介します。

検索拡張生成（RAG）とは？

背景

従来のLLMは以下のような情報に対して正確に答えることができないことが知られています。

• 最新の情報
• 専門的な情報
• 非公開の情報
• 頻繁に変更される情報

一方で、情報検索技術は大規模なデータベースから特定の情報を抽出することが可能です。RAGは情報検索技術を用いて外部の情報を参照し、その上でLLMに回答させることで、より多様な問い合わせにも対応できるようにするというのが基本コンセプトです。

従来の生成モデルとの相違点

従来のLLMとの最大の違いは、情報源へのアクセス能力です。従来のLLMは訓練時に与えられた学習データのみをもとにテキストを生成しますが、RAGは情報源から取得した情報を付加してLLMに答えを生成させます。これにより、RAGは最新の情報や特定の質問に対し、より正確、具体的、検証可能な回答を提供することができます。

また、RAGは単なるテキスト生成ではなく、ユーザーの質問に対して適切な情報を提供することを目的としています。

基本構造と動作原理

RAGの全体像は図の通りとなります。以下でその詳細を説明します。

情報検索

RAGの第1段階である情報検索部分では、まず質問文を解析し、それに関連する情報をデータベースをはじめとする情報格納庫から取得します。

• 質問文の前処理: 質問文から重要な情報を抽出します。例えば、キーワード抽出、ベクトル変換など、コンピュータが理解しやすい形式への変換を行います。
• 検索：検索エンジンを使い、質問の回答になりそうなデータを抽出します。最近ではベクトル検索という検索手法が人気となっています。
• 情報の精査：検索結果を再度分析し、最も質問に関連した情報を選択します。

回答生成

２段階目の回答生成は、情報検索部分で取得した情報をもとに、どのように出力を生成するかがテーマです。通常、従来のLLMを使用します。

• 質問レジュメの作成: LLMは適切な質問をしないと適切に返答しません。何が質問文で、どのような情報が参考情報として挙げられ、どのように回答してほしいかをレジュメ形式に、体系立てて質問する必要があります。「マークダウン記法」と呼ばれる記法を用いたレジュメ作成が主流です。
• 回答生成: 上記質問レジュメをもとに、LLMが回答を作成します。
• 結果の精査: 生成した回答を再度見直します。回答にどの参考情報が使われているか、公序良俗に反する回答をしていないか、そもそも質問に回答しているのかなど、様々な面から回答の品質向上を目指します。

応用例

RAGはその高い柔軟性、検証可能性から、様々な分野で応用されています。

FAQシステム

従来のFAQシステムでは事前に登録した質問と回答のペアを大量に作成して対応していましたが、RAGを用いることで、より柔軟な応答が可能になります。

• 表記ゆれに対する柔軟性: 質問のキーワードが完全に一致しなくても、RAGはデータベースなどから類似した情報を抽出することが可能です。これにより、従来では限界のあった表記ゆれへの対応が格段に簡便になります。
• FAQのないFAQシステム: 資料・マニュアル検索システムをRAGの検索エンジンに搭載すると、RAGは資料から直接情報を取得できるようになります。

インタフェース

同様に、分析システムのインタフェースにもRAGは使われており、データの解釈や洞察に役立ちます。

• 自然言語での解析: 分析システムは多様な機能があり、初心者には使いづらいと感じる場面が多々あります。RAGを使うことで、ユーザーは自然言語で必要な情報を取得することができます。
• レポート生成: RAGを活用することで、解析結果に基づいて詳細なレポートを書くことが容易になります。担当者はその分分析手法の検討などに時間を使うことができ、レポートの質を向上させることができます。

利点と課題点

利点

• 高精度な応答: 情報源から取得した情報を使うことにより、具体的で正確な、出自の判明している情報を使用することができます。
• 広い応用範囲: 上記応用例に加え、文書管理、研修など様々な分野でRAGは活躍しています。RAGは特定の領域や用途に合わせてカスタマイズすることが容易であり、特定のニーズに合わせた専用のRAGシステムを構築することが可能です。
• システムの持続可能性: 外部の情報源から最新情報を受け取れるため、常に最新の知識が反映されている回答が可能です。
• 高いセキュリティ: 検索エンジンを使用しているため、「この人にはこの情報を見せない」などフィルタリングが可能です。

課題点

• コスト: RAGは生成以外にも情報検索、情報精査を行います。また、RAGシステムそのものも複雑な構造をしているため、開発難度が高いです。特に複雑な情報・大規模な情報を扱う場合、コストが高くつきやすいことが知られています。
• リアルタイム性: 回答生成前に情報検索を行う都合上、処理時間が長くなることがあります。大規模なデータベースの検索にはそれ相応の時間がかかります。
• 情報源への依存: RAGは参考情報に大きく依存した回答を生成します。そのため、情報源がバイアスを含んでいる場合、回答も偏った回答になりやすくなります。

RAGの未来

進化の方向

今後のRAGの進化の方向として以下の2つが挙げられます。

• フィードバックの採用: RAGシステムにユーザーからのフィードバックを反映させることで、より満足感のある回答を生成することが期待されています。
• 画像・音声データの活用: 文字媒体以外のデータも同時に入力することで、RAGシステムの応用範囲がさらに広がります。

社会への影響

• 教育：RAG の情報源に自身の情報を読み込ませることで、一人ひとりに対応した教育コンテンツを提供することができます。例えば、個別の学習スタイル、進度に応じた教材の提供が可能になります。
• 公共：ごみ収集規則など、自治体ごとに大きく変わる情報もRAG では扱うことができます。さらに、緊急時の対応情報など、他地区の情報に埋もれることが致命的な場合にもRAG は威力を発揮します。

まとめ

今回は、検索拡張生成（RAG）について、その概要を説明しました。RAGは、LLMと情報検索技術を組み合わせた革新的な技術であり、その応用範囲はさらに拡大すると予想されます。今後どのようなサービスが生まれるのか、どのように社会に影響を与えるのか、注目すべきところです。