RAG（検索拡張生成）の原点――言語モデルに外部知識の検索を組み合わせ、より事実に即した生成へ
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
30秒でわかる要点
事前学習済みの生成モデル（パラメトリック記憶）に、Wikipediaの密ベクトル索引を検索する仕組み（非パラメトリック記憶）を組み合わせた「RAG」を提案。オープンドメインQA 3タスクで最高性能を出し、より具体的で事実に即した文章を生成した。
要約― この論文の概要は？
大規模な事前学習済み言語モデルは、パラメータ内に事実知識を蓄え、下流タスクへのファインチューニングで最高水準の結果を出すことが示されてきた。しかし、知識に正確にアクセスして操作する能力はまだ限られており、知識集約型のタスクではタスク専用の構造に劣る。また、判断の根拠を示すことや、世界知識を更新することも未解決の課題である。微分可能なアクセス機構で明示的な非パラメトリック記憶を使う事前学習済みモデルはこの問題を克服しうるが、これまでは抽出型の下流タスクでしか検討されていなかった。本論文は、事前学習済みのパラメトリック記憶と非パラメトリック記憶を組み合わせて言語生成を行う「検索拡張生成（RAG）」モデルの汎用的なファインチューニング方法を探る。パラメトリック記憶には事前学習済みのseq2seqモデルを、非パラメトリック記憶にはWikipediaの密ベクトル索引を用い、事前学習済みのニューラル検索器でアクセスする。生成する系列全体で同じ検索結果を使う方式と、トークンごとに異なる検索結果を使える方式の2つを比較した。幅広い知識集約型タスクで評価し、3つのオープンドメインQAタスクで最高性能を達成して、パラメトリックなseq2seqモデルやタスク専用の検索・抽出型の構造を上回った。言語生成タスクでは、パラメトリックのみの最先端seq2seqベースラインより、具体的で多様、かつ事実に即した文章を生成した。
課題― 何を解決しようとしているのか？
大規模言語モデルはパラメータに知識を持つが、知識への正確なアクセスや操作が難しく、知識集約型タスクではタスク専用の構造に劣る。根拠の提示や知識の更新も未解決だった。
手法― どのような方法で取り組んだのか？
事前学習済みseq2seqモデル（パラメトリック記憶）と、ニューラル検索器でアクセスするWikipediaの密ベクトル索引（非パラメトリック記憶）を組み合わせたRAGモデルを提案。系列全体で同じ検索結果を使う方式と、トークンごとに変えられる方式の2つを比較した。
結果― 何が分かったのか？
3つのオープンドメインQAタスクで最高性能を達成し、パラメトリックなseq2seqモデルやタスク専用の検索・抽出型構造を上回った。言語生成タスクでは、より具体的・多様で事実に即した文章を生成した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、検索対象はWikipediaの索引であり、他の知識源や企業内文書での性能、検索の失敗時の挙動などは示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
社内文書やFAQを検索して回答を生成する「社内ナレッジ検索」「問い合わせ対応AI」の基本設計そのもの。知識を再学習せずに索引の差し替えで更新できる点は、情報が頻繁に変わる業務で特に有効。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
エージェント 定番 原論文 2022年 約2分で読める
ReAct――「考える」と「行動する」を交互に行うLLMエージェントの基本形
ReAct: Synergizing Reasoning and Acting in Language Models
要点LLMに推論の過程（Reasoning）と行動（Acting）を交互に生成させる「ReAct」を提案。Wikipedia APIで情報を取りに行くことで思考の連鎖の幻覚や誤りの連鎖を抑え、対話型の意思決定タスクでは模倣学習・強化学習を成功率で34%・10%上回った。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
推論 定番 原論文 2022年 約2分で読める
思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
要点プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。