Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
30秒でわかる要点
再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
要約― この論文の概要は？
系列変換の主要なモデルは、エンコーダ・デコーダ構成の複雑な再帰型または畳み込み型ニューラルネットワークに基づいており、性能の高いモデルは注意機構でエンコーダとデコーダをつないでいる。本論文は、再帰と畳み込みを完全に排し、注意機構のみに基づく新しいシンプルなネットワーク構造「Transformer」を提案する。2つの機械翻訳タスクの実験では、品質で上回りつつ、並列化しやすく、学習時間も大幅に短いことが示された。WMT 2014 英独翻訳では28.4 BLEUを達成し、アンサンブルを含む既存の最高結果を2 BLEU以上上回った。WMT 2014 英仏翻訳では、8基のGPUで3.5日学習した単一モデルとして最高の41.8 BLEUを記録し、学習コストは既存の最良モデルのごく一部だった。さらに、大量・少量どちらの学習データでも英語の構文解析にうまく適用でき、他のタスクへも汎化することを示した。
課題― 何を解決しようとしているのか？
当時の系列変換（機械翻訳など）の主流は、再帰型または畳み込み型ニューラルネットワークによる複雑なエンコーダ・デコーダ構成だった。
手法― どのような方法で取り組んだのか？
再帰と畳み込みを完全に取り除き、注意機構（アテンション）のみで構成するネットワーク構造「Transformer」を設計した。
結果― 何が分かったのか？
WMT 2014 英独翻訳で28.4 BLEU（既存最高をアンサンブル込みで2 BLEU以上更新）、英仏翻訳で単一モデル最高の41.8 BLEU（8 GPU・3.5日の学習）を達成。英語の構文解析にも適用でき、他タスクへの汎化も示した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、手法の限界は明示されていない。評価は主に機械翻訳と英語の構文解析で行われている。
ビジネスで使えるか― 実務にどう活かせるか？
ChatGPTをはじめ現在の大規模言語モデルのほぼすべての土台になっている構造。生成AIの仕組みを社内で説明する際や、技術選定の議論で「なぜ大規模化できたのか（並列化しやすさ）」を理解するための出発点になる。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
大規模言語モデル 定番 原論文 2020年 約2分で読める
GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
大規模言語モデル 定番 原論文 2020年 約2分で読める
「大きくすれば賢くなる」を定量化したスケーリング則――モデル・データ・計算量と性能のべき乗則
Scaling Laws for Neural Language Models
要点言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。
推論 定番 原論文 2022年 約2分で読める
思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
要点プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。