カテゴリ
ファインチューニング、人間のフィードバックによる学習（RLHF）、選好最適化など、モデルを目的に合わせて調整する手法の論文。
掲載 3本 ・ 最終更新
学習手法／ファインチューニング 定番 原論文 2022年 約2分で読める
Training language models to follow instructions with human feedback
要点人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。
学習手法／ファインチューニング 定番 原論文 2021年 約2分で読める
LoRA: Low-Rank Adaptation of Large Language Models
要点事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。
学習手法／ファインチューニング 定番 原論文 2023年 約2分で読める
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
要点RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。