今の生成AIの土台になった重要論文を、原論文の発表順に並べました。ここから読むと、Transformer → 大規模化 → 指示への追従 → エージェント、という研究の流れがつかめます。
掲載 12本
大規模言語モデル 定番 原論文 2017年 約2分で読める
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
大規模言語モデル 定番 原論文 2020年 約2分で読める
Scaling Laws for Neural Language Models
要点言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。
RAG／検索 定番 原論文 2020年 約2分で読める
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
要点事前学習済みの生成モデル（パラメトリック記憶）に、Wikipediaの密ベクトル索引を検索する仕組み（非パラメトリック記憶）を組み合わせた「RAG」を提案。オープンドメインQA 3タスクで最高性能を出し、より具体的で事実に即した文章を生成した。
大規模言語モデル 定番 原論文 2020年 約2分で読める
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
画像生成 定番 原論文 2020年 約1分で読める
Denoising Diffusion Probabilistic Models
要点非平衡熱力学に着想を得た「拡散確率モデル」で高品質な画像生成を実現。CIFAR10でFID 3.17の最高スコアを出し、LSUN 256×256ではProgressiveGANと同等の品質を得た。
マルチモーダル 定番 原論文 2021年 約2分で読める
Learning Transferable Visual Models From Natural Language Supervision
要点インターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。
学習手法／ファインチューニング 定番 原論文 2021年 約2分で読める
LoRA: Low-Rank Adaptation of Large Language Models
要点事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。
画像生成 定番 原論文 2021年 約2分で読める
High-Resolution Image Synthesis with Latent Diffusion Models
要点拡散モデルを画素空間ではなく、事前学習済みオートエンコーダの潜在空間で動かす「潜在拡散モデル（LDM）」を提案。計算コストを大きく下げつつ画質を保ち、クロスアテンションでテキストなど多様な条件による生成も可能にした。
推論 定番 原論文 2022年 約2分で読める
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
要点プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。
学習手法／ファインチューニング 定番 原論文 2022年 約2分で読める
Training language models to follow instructions with human feedback
要点人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。
エージェント 定番 原論文 2022年 約2分で読める
ReAct: Synergizing Reasoning and Acting in Language Models
要点LLMに推論の過程（Reasoning）と行動（Acting）を交互に生成させる「ReAct」を提案。Wikipedia APIで情報を取りに行くことで思考の連鎖の幻覚や誤りの連鎖を抑え、対話型の意思決定タスクでは模倣学習・強化学習を成功率で34%・10%上回った。
学習手法／ファインチューニング 定番 原論文 2023年 約2分で読める
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
要点RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。