Constitutional AI――「原則のリスト」だけを人が与え、AIのフィードバックで無害なアシスタントを学習
Constitutional AI: Harmlessness from AI Feedback
30秒でわかる要点
有害な出力に人がラベルを付けず、「原則（憲法）のリスト」だけを与えて、AI自身の批評・修正とAIによる評価（RLAIF）で無害なアシスタントを学習する「Constitutional AI」を提案。回避的にならず、有害な質問には理由を説明して応じるアシスタントを実現した。
要約― この論文の概要は？
AIシステムの能力が高まるにつれ、他のAIを監督するのにAIの助けを借りたいと考えるようになる。本論文は、有害な出力を示す人間のラベルを一切使わずに、自己改善によって無害なAIアシスタントを学習する方法を実験する。人間による監督はルールや原則のリストを通じてのみ行われるため、この方法を「Constitutional AI（憲法AI）」と呼ぶ。過程は教師あり学習の段階と強化学習の段階から成る。教師あり段階では、初期モデルから出力をサンプリングし、自己批評と修正を生成して、修正後の応答で元のモデルをファインチューニングする。強化学習段階では、ファインチューニング済みモデルからサンプリングし、2つのサンプルのどちらが良いかをモデルで評価して、このAIの選好のデータセットから選好モデルを学習する。次に、選好モデルを報酬信号として強化学習を行う。つまり「AIのフィードバックによる強化学習（RLAIF）」を用いる。その結果、有害な問い合わせに対して、はぐらかさずに異議の理由を説明しながら応じる、無害だが回避的でないAIアシスタントを学習できた。教師あり・強化学習のどちらの手法も、思考の連鎖スタイルの推論を活用して、人間が判断した性能とAIの意思決定の透明性を高められる。これらの方法により、はるかに少ない人間のラベルで、AIの振る舞いをより精密に制御できるようになる。
課題― 何を解決しようとしているのか？
AIを無害にするための学習には、有害な出力を示す大量の人間のラベルが必要だった。AIの能力が上がるにつれ、AIの監督にAI自身の助けを借りる方法が求められていた。
手法― どのような方法で取り組んだのか？
人が与えるのはルール・原則のリスト（憲法）だけとし、2段階で学習する。教師あり段階ではモデル自身の批評と修正を使ってファインチューニングし、強化学習段階ではAIによる2択の評価から選好モデルを作り、それを報酬とする強化学習（RLAIF）を行う。
結果― 何が分かったのか？
有害な問い合わせに対し、はぐらかさずに異議の理由を説明して応じる、無害だが回避的でないアシスタントを学習できた。思考の連鎖スタイルの推論で、人間が判断した性能と意思決定の透明性も高められた。はるかに少ない人間のラベルで振る舞いを制御できる。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、原則の選び方が結果に与える影響や、無害性以外の観点での評価は示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
社内AIの「してはいけないこと・望ましい振る舞い」を原則として文章化し、それに沿って出力を自己チェック・修正させる設計の考え方として応用できる。ガイドラインを明文化しておくことが、AI活用のガバナンスに直結する。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
学習手法／ファインチューニング 定番 原論文 2022年 約2分で読める
InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に
Training language models to follow instructions with human feedback
要点人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。
学習手法／ファインチューニング 定番 原論文 2023年 約2分で読める
DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
要点RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。