Lost in the Middle――長い入力の「真ん中」にある情報は、LLMに見落とされやすい
Lost in the Middle: How Language Models Use Long Contexts
30秒でわかる要点
長い入力を扱える言語モデルでも、関連情報が入力の先頭や末尾にあると性能が高く、真ん中にあると大きく下がることを、複数文書の質問応答とキー・バリュー検索で示した。長文脈向けとされるモデルでも同様だった。
要約― この論文の概要は？
最近の言語モデルは長い文脈を入力として受け取れるが、長い文脈をどれだけうまく使えているかについては、比較的わずかしか分かっていない。入力文脈の中から関連情報を特定する必要がある2つのタスク、複数文書の質問応答とキー・バリュー検索で、言語モデルの性能を分析した。関連情報の位置を変えると性能が大きく低下しうることが分かり、現在の言語モデルは長い入力文脈の情報を頑健には活用できていないことが示された。特に、関連情報が入力文脈の先頭または末尾にあるときに性能が最も高いことが多く、長い文脈の真ん中にある関連情報にアクセスしなければならないときには、明示的に長文脈向けとされるモデルでも、性能が大きく低下した。この分析は、言語モデルが入力文脈をどう使うかの理解を深めるとともに、将来の長文脈言語モデルのための新しい評価方法を提供する。
課題― 何を解決しようとしているのか？
言語モデルは長い文脈を入力できるようになったが、その文脈をどれだけうまく使えているかは、あまり分かっていなかった。
手法― どのような方法で取り組んだのか？
入力の中から関連情報を見つける必要がある2つのタスク（複数文書の質問応答、キー・バリュー検索）で、関連情報の位置を変えながら言語モデルの性能を分析した。
結果― 何が分かったのか？
関連情報の位置によって性能が大きく変わった。先頭や末尾にあるときに最も高いことが多く、長い文脈の真ん中にあると、明示的に長文脈向けのモデルでも大きく低下した。現在のモデルは長い入力の情報を頑健に使えていない。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、分析は複数文書の質問応答とキー・バリュー検索の2タスクに基づく。
ビジネスで使えるか― 実務にどう活かせるか？
RAGや長い資料の要約で「全部入れれば読んでくれる」とは限らないことを示した実務上重要な研究。検索結果を関連度順に並べて重要な情報を先頭に置く、入れる文書数を絞る、といった設計の根拠になる。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
RAG／検索 定番 原論文 2020年 約2分で読める
RAG（検索拡張生成）の原点――言語モデルに外部知識の検索を組み合わせ、より事実に即した生成へ
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
要点事前学習済みの生成モデル（パラメトリック記憶）に、Wikipediaの密ベクトル索引を検索する仕組み（非パラメトリック記憶）を組み合わせた「RAG」を提案。オープンドメインQA 3タスクで最高性能を出し、より具体的で事実に即した文章を生成した。
効率化／推論高速化 定番 原論文 2022年 約3分で読める
FlashAttention――GPUメモリの読み書きを減らし、注意機構を正確なまま高速・省メモリに
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
要点GPUのメモリ階層間の読み書き（IO）を意識し、タイリングで高帯域メモリへのアクセスを減らす正確な注意機構の計算法「FlashAttention」を提案。GPT-2で3倍の学習高速化を実現し、より長い文脈を扱えるようにした。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。