LLaMA――公開データだけで学習した70億〜650億パラメータのオープンな基盤モデル
LLaMA: Open and Efficient Foundation Language Models
30秒でわかる要点
70億〜650億パラメータの基盤言語モデル群「LLaMA」を、公開データだけを使って数兆トークンで学習。130億パラメータ版がほとんどのベンチマークでGPT-3（1750億）を上回り、全モデルを研究コミュニティに公開した。
要約― この論文の概要は？
70億から650億パラメータの基盤言語モデル群LLaMAを紹介する。数兆トークンでモデルを学習し、独自の入手不可能なデータセットに頼らず、公開されているデータセットだけで最高水準のモデルを学習できることを示す。特に、LLaMA-13Bはほとんどのベンチマークで GPT-3（1750億）を上回り、LLaMA-65Bは最良のモデルであるChinchilla-70BやPaLM-540Bと競える性能を示した。すべてのモデルを研究コミュニティに公開する。
課題― 何を解決しようとしているのか？
最高水準の言語モデルの学習には、非公開で入手できないデータセットが使われることが多かった。
手法― どのような方法で取り組んだのか？
公開されているデータセットだけを使い、70億〜650億パラメータの基盤言語モデル群LLaMAを数兆トークンで学習した。
結果― 何が分かったのか？
LLaMA-13Bはほとんどのベンチマークで GPT-3（1750億）を上回り、LLaMA-65BはChinchilla-70BやPaLM-540Bと競える性能を示した。全モデルを研究コミュニティに公開した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、具体的な弱点や安全性の評価は示されていない。公開は研究コミュニティ向けとされている。
ビジネスで使えるか― 実務にどう活かせるか？
自社環境で動かせる「オープンなLLM」の流れを作ったモデル群。機密データを外部APIに出したくない場合や、独自にファインチューニングしたい場合の選択肢を広げた。利用時は各モデルのライセンス条件の確認が必須。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
大規模言語モデル 定番 原論文 2020年 約2分で読める
GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
大規模言語モデル 定番 原論文 2022年 約2分で読める
Chinchilla――モデルの大きさと学習データ量は同じ比率で増やすべき。計算資源の最適配分を見直した研究
Training Compute-Optimal Large Language Models
要点400以上の言語モデルを学習して検証し、計算予算が決まっているならモデルサイズと学習トークン数は同じ比率で増やすべきだと結論。同じ計算量で700億パラメータ・4倍のデータで学習した「Chinchilla」が、2800億パラメータのGopherなどを上回った。
大規模言語モデル 定番 原論文 2024年 約2分で読める
Mixtral 8x7B――8つの専門家から2つを選んで使う疎なMoEで、少ない計算量でLlama 2 70B級の性能
Mixtral of Experts
要点各層に8つの専門家（フィードフォワードブロック）を持ち、トークンごとにルーターが2つを選ぶ疎なMixture of Expertsモデル「Mixtral 8x7B」を提案。470億パラメータのうち推論時に使うのは130億で、評価したすべてのベンチマークでLlama 2 70BやGPT-3.5と同等以上だった。