「大きくすれば賢くなる」を定量化したスケーリング則――モデル・データ・計算量と性能のべき乗則
Scaling Laws for Neural Language Models
30秒でわかる要点
言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。
要約― この論文の概要は？
交差エントロピー損失で測った言語モデルの性能について、経験的なスケーリング則を調べた。損失はモデルサイズ、データセットサイズ、学習に使う計算量に対してべき乗則でスケールし、傾向の一部は7桁以上にわたって成り立つ。ネットワークの幅や深さといったその他の構造上の詳細は、広い範囲で影響が小さい。過学習がモデル／データサイズにどう依存するか、学習速度がモデルサイズにどう依存するかも、単純な式で表せる。これらの関係から、固定された計算予算の最適な配分を決められる。大きなモデルほどサンプル効率が大幅に高く、計算効率が最適な学習とは、非常に大きなモデルを比較的少量のデータで学習し、収束よりかなり前に止めることだと分かった。
課題― 何を解決しようとしているのか？
言語モデルの性能が、モデルの大きさ・データ量・計算量によってどう変わるのかが定量的に分かっておらず、限られた計算資源をどう配分すべきか判断しにくかった。
手法― どのような方法で取り組んだのか？
言語モデルの交差エントロピー損失を、モデルサイズ、データセットサイズ、学習計算量、ネットワークの幅・深さなどを変えながら測定し、経験的な関係式（スケーリング則）を導いた。
結果― 何が分かったのか？
損失はモデルサイズ・データ量・計算量に対してべき乗則で下がり、一部の傾向は7桁以上にわたって成立。幅や深さの影響は広い範囲で小さい。大きなモデルほどサンプル効率が高く、計算効率の最適点は「非常に大きなモデルを比較的少ないデータで学習し、収束前に止める」ことだった。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、検証対象は言語モデルの交差エントロピー損失であり、個別の下流タスクの性能との関係や、他のモデル種別への適用範囲は示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
自社でモデルを学習・ファインチューニングする際の「モデルを大きくするか、データを増やすか」という投資判断の考え方の基礎になる。ベンダーの性能向上の見通しを読むうえでも、規模と性能の関係を理解しておく価値がある。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
大規模言語モデル 定番 原論文 2020年 約2分で読める
GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
推論 定番 原論文 2022年 約2分で読める
思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
要点プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。