AI論文ライブラリarXivの生成AI論文を日本語で

大規模言語モデル 定番論文 分野：生成AI 約2分で読める

GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす

Language Models are Few-Shot Learners

Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei
原文公開 ・ 本サイト掲載

arXivで原文を読む PDF

30秒でわかる要点

1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。

目次
  1. 要約
  2. 課題
  3. 手法
  4. 結果
  5. 限界
  6. ビジネスで使えるか
  7. 関連論文

要約― この論文の概要は？

大規模テキストでの事前学習と特定タスクへのファインチューニングにより、多くのNLPタスクで大きな改善が示されてきた。しかしこの方法は、構造はタスク非依存でも、数千〜数万例のタスク専用データでのファインチューニングを必要とする。一方、人間は数例や簡単な指示だけで新しい言語タスクをこなせるが、現在のNLPシステムはこれを苦手とする。本論文は、言語モデルを大規模化するとタスク非依存のfew-shot性能が大きく向上し、従来の最先端のファインチューニング手法に匹敵する場合もあることを示す。具体的には、従来の非スパース言語モデルの10倍にあたる1750億パラメータの自己回帰型言語モデルGPT-3を学習し、few-shot設定で性能を検証した。すべてのタスクで、勾配更新やファインチューニングは行わず、タスクと数例の手本はモデルとのテキストのやり取りだけで与えた。GPT-3は翻訳、質問応答、穴埋めなど多くのNLPデータセットで高い性能を示し、単語の並べ替え、新しい単語を文中で使う、3桁の算術といった、その場の推論や適応を要するタスクもこなした。同時に、few-shot学習がまだ苦手なデータセットや、大規模なWebコーパスでの学習に関わる方法論上の問題があるデータセットも特定した。さらに、GPT-3は人間の評価者が人間の書いた記事と見分けにくいニュース記事を生成できることが分かり、この発見とGPT-3全般の社会的影響についても議論している。

課題― 何を解決しようとしているのか？

従来の事前学習＋ファインチューニングは、タスクごとに数千〜数万例のデータを必要とした。人間のように数例や簡単な指示だけで新しいタスクをこなすことは、当時のNLPシステムには難しかった。

手法― どのような方法で取り組んだのか？

従来の非スパース言語モデルの10倍にあたる1750億パラメータの自己回帰型言語モデルGPT-3を学習。勾配更新やファインチューニングは行わず、タスクの説明と数例の手本をテキストで与えるfew-shot設定で性能を検証した。

結果― 何が分かったのか？

翻訳、質問応答、穴埋めなど多くのデータセットで高い性能を示し、単語の並べ替えや3桁の算術などその場の推論を要するタスクもこなした。従来の最先端のファインチューニング手法に匹敵する場合もあった。人間の評価者が見分けにくいニュース記事も生成できた。

限界― 注意すべき点は？

few-shot学習がまだ苦手なデータセットや、大規模Webコーパスでの学習に起因する方法論上の問題（評価データの混入など）があるデータセットが存在する。生成文が人間の文章と見分けにくいことに伴う社会的影響も論じられている。

ビジネスで使えるか― 実務にどう活かせるか？

「プロンプトに例を数個書くだけで業務タスクをこなせる」という、現在の生成AI活用の前提を作った論文。少数の入出力例をプロンプトに入れる工夫（few-shotプロンプト）は、分類・要約・定型文作成などで今も有効な基本テクニック。

キーワード

本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。

5 注目度

大規模言語モデル 定番 原論文 2017年 約2分で読める

Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に

Attention Is All You Need

要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。

Ashish Vaswani, Noam Shazeer, Niki Parmar 他5名 arXiv:1706.03762

4 注目度

大規模言語モデル 定番 原論文 2020年 約2分で読める

「大きくすれば賢くなる」を定量化したスケーリング則――モデル・データ・計算量と性能のべき乗則

Scaling Laws for Neural Language Models

要点言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。

Jared Kaplan, Sam McCandlish, Tom Henighan 他7名 arXiv:2001.08361

5 注目度

推論 定番 原論文 2022年 約2分で読める

思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

要点プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。

Jason Wei, Xuezhi Wang, Dale Schuurmans 他6名 arXiv:2201.11903

「大規模言語モデル」の論文をもっと見る →