Chinchilla――モデルの大きさと学習データ量は同じ比率で増やすべき。計算資源の最適配分を見直した研究
Training Compute-Optimal Large Language Models
30秒でわかる要点
400以上の言語モデルを学習して検証し、計算予算が決まっているならモデルサイズと学習トークン数は同じ比率で増やすべきだと結論。同じ計算量で700億パラメータ・4倍のデータで学習した「Chinchilla」が、2800億パラメータのGopherなどを上回った。
要約― この論文の概要は？
決まった計算予算のもとで、Transformer言語モデルを学習するための最適なモデルサイズとトークン数を調べた。近年、学習データ量を一定に保ったまま言語モデルの大規模化が重視されてきた結果、現在の大規模言語モデルは大幅に学習不足であることが分かった。7000万から160億超のパラメータを持つ400以上の言語モデルを、50億から5000億トークンで学習した結果、計算効率が最適な学習では、モデルサイズと学習トークン数を同じ比率で増やすべきこと、つまりモデルサイズを2倍にするごとに学習トークン数も2倍にすべきことが分かった。この仮説を検証するため、Gopherと同じ計算予算で、700億パラメータ・4倍のデータを使う、計算最適と予測されるモデルChinchillaを学習した。Chinchillaは幅広い下流評価タスクで、Gopher（2800億）、GPT-3（1750億）、Jurassic-1（1780億）、Megatron-Turing NLG（5300億）を一様かつ大きく上回った。これは、Chinchillaがファインチューニングと推論で使う計算量も大幅に少なく、下流での利用が大きく容易になることも意味する。特に、MMLUベンチマークでは最高水準の平均精度67.5%に達し、Gopherより7%以上改善した。
課題― 何を解決しようとしているのか？
大規模言語モデルは学習データ量を据え置いたまま大型化が進められ、決まった計算予算の配分（モデルを大きくするか、データを増やすか）が最適でなかった。
手法― どのような方法で取り組んだのか？
7000万〜160億超のパラメータを持つ400以上のモデルを、50億〜5000億トークンで学習して最適な配分を調べた。その結論に基づき、Gopherと同じ計算予算で700億パラメータ・4倍のデータを使う「Chinchilla」を学習して検証した。
結果― 何が分かったのか？
計算最適な学習では、モデルサイズと学習トークン数を同じ比率で増やすべき（モデルを2倍にするならトークン数も2倍）。ChinchillaはGopher、GPT-3、Jurassic-1、Megatron-Turing NLGを幅広いタスクで上回り、MMLUで平均精度67.5%（Gopher比7%以上の改善）を達成。推論やファインチューニングの計算量も小さい。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、検証は Transformer言語モデルと、論文で調べた規模・データ量の範囲に基づく。
ビジネスで使えるか― 実務にどう活かせるか？
「パラメータ数が多いモデルほど良い」とは限らないことを示した研究。モデルを選ぶ際に、規模だけでなく学習データ量や推論コストも合わせて見るべきだという判断の根拠になる。小さめで良く学習されたモデルは、運用コストの面でも有利。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
大規模言語モデル 定番 原論文 2020年 約2分で読める
「大きくすれば賢くなる」を定量化したスケーリング則――モデル・データ・計算量と性能のべき乗則
Scaling Laws for Neural Language Models
要点言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。
大規模言語モデル 定番 原論文 2023年 約1分で読める
LLaMA――公開データだけで学習した70億〜650億パラメータのオープンな基盤モデル
LLaMA: Open and Efficient Foundation Language Models
要点70億〜650億パラメータの基盤言語モデル群「LLaMA」を、公開データだけを使って数兆トークンで学習。130億パラメータ版がほとんどのベンチマークでGPT-3（1750億）を上回り、全モデルを研究コミュニティに公開した。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。