学習手法／ファインチューニング 定番論文 分野：生成AI 約2分で読める
DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
30秒でわかる要点
RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。
要約― この論文の概要は？
大規模な教師なし言語モデルは幅広い世界知識と一定の推論能力を学ぶが、学習が完全に教師なしであるため、振る舞いを精密に制御するのは難しい。制御性を得る既存の方法は、モデル出力の相対的な良し悪しについて人間のラベルを集め、その選好に合わせて教師なしLMをファインチューニングするもので、多くの場合、人間のフィードバックによる強化学習（RLHF）を用いる。しかしRLHFは複雑で不安定になりがちな手順であり、まず人間の選好を反映した報酬モデルを学習し、次に元のモデルから離れすぎないようにしながら推定報酬を最大化するよう強化学習で大規模な教師なしLMをファインチューニングする。本論文は、RLHFにおける報酬モデルの新しいパラメータ化を導入し、対応する最適な方策を閉じた形で取り出せるようにすることで、標準的なRLHFの問題を単純な分類損失だけで解けるようにする。こうして得られるアルゴリズムを直接選好最適化（DPO）と呼ぶ。DPOは安定で高性能、計算も軽く、ファインチューニング中にLMからサンプリングする必要や、大がかりなハイパーパラメータ調整の必要がない。実験では、DPOは既存手法と同等以上に人間の選好に合わせたファインチューニングができた。特に、生成文の感情（センチメント）を制御する能力ではPPOベースのRLHFを上回り、要約や1ターンの対話では応答品質で同等以上となりつつ、実装と学習がはるかに簡単だった。
課題― 何を解決しようとしているのか？
人間の好みに合わせる標準手法RLHFは、報酬モデルの学習と強化学習の2段階から成り、複雑で不安定になりがちだった。
手法― どのような方法で取り組んだのか？
RLHFの報酬モデルを新しい形でパラメータ化し、最適な方策を閉じた形で取り出せるようにした。これにより、強化学習なしに、選好データに対する単純な分類損失だけで学習できる「DPO」を提案した。
結果― 何が分かったのか？
DPOは安定・高性能・軽量で、学習中のサンプリングや大がかりなハイパーパラメータ調整が不要。既存手法と同等以上に人間の選好に合わせられ、感情の制御ではPPOベースのRLHFを上回り、要約と1ターン対話では同等以上の応答品質を、はるかに簡単な実装で達成した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、評価は感情制御・要約・1ターン対話で行われており、複数ターンの対話や他のタスクでの性能は示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
「良い回答と悪い回答のペア」さえ集めれば、強化学習の専門知識なしで自社向けにモデルの応答傾向を調整できる手法。オープンソースモデルを業務向けに調整する際の現実的な選択肢になっている。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
学習手法／ファインチューニング 定番 原論文 2022年 約2分で読める
InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に
Training language models to follow instructions with human feedback
要点人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。
学習手法／ファインチューニング 定番 原論文 2021年 約2分で読める
LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に
LoRA: Low-Rank Adaptation of Large Language Models
要点事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。