AI論文ライブラリarXivの生成AI論文を日本語で

学習手法／ファインチューニング 定番論文 分野：生成AI 約2分で読める

LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に

LoRA: Low-Rank Adaptation of Large Language Models

Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen
原文公開 ・ 本サイト掲載

arXivで原文を読む PDF GitHub

30秒でわかる要点

事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。

目次
  1. 要約
  2. 課題
  3. 手法
  4. 結果
  5. 限界
  6. ビジネスで使えるか
  7. 関連論文

要約― この論文の概要は？

自然言語処理の重要な枠組みは、汎用ドメインのデータでの大規模な事前学習と、特定のタスクやドメインへの適応から成る。より大きなモデルを事前学習するにつれ、全パラメータを再学習するフルファインチューニングは現実的でなくなる。GPT-3 175Bを例にとると、それぞれ1750億パラメータを持つファインチューニング済みモデルを個別に運用するのは非常に高コストである。本論文は、事前学習済みモデルの重みを固定し、Transformer構造の各層に学習可能なランク分解行列を注入することで、下流タスクで学習するパラメータ数を大幅に減らす「低ランク適応（LoRA）」を提案する。Adamでファインチューニングしたモデル（GPT-3 175B）と比べ、LoRAは学習するパラメータ数を1万分の1、必要なGPUメモリを3分の1にできる。LoRAは学習するパラメータが少なく、学習スループットが高く、アダプタ方式と違って推論時の遅延も増えないにもかかわらず、RoBERTa、DeBERTa、GPT-2、GPT-3でファインチューニングと同等以上のモデル品質を示した。言語モデルの適応におけるランク不足についての実証的な調査も行い、LoRAが有効な理由を明らかにした。PyTorchモデルにLoRAを組み込むためのパッケージと、RoBERTa、DeBERTa、GPT-2の実装・チェックポイントを公開している。

課題― 何を解決しようとしているのか？

モデルが大きくなるほど、全パラメータを再学習するフルファインチューニングは難しくなる。GPT-3 175Bのような規模では、タスクごとにファインチューニング済みモデルを個別に運用するコストが非常に大きい。

手法― どのような方法で取り組んだのか？

事前学習済みの重みを固定したまま、Transformerの各層に学習可能な低ランク分解行列を注入し、その小さな行列だけを学習する「LoRA」を提案した。

結果― 何が分かったのか？

GPT-3 175BのAdamによるファインチューニングと比べ、学習するパラメータ数を1万分の1、GPUメモリを3分の1に削減。RoBERTa、DeBERTa、GPT-2、GPT-3で、ファインチューニングと同等以上の品質を示し、学習スループットも高く、アダプタ方式と違って推論遅延も増えない。

限界― 注意すべき点は？

本要約（アブストラクト）の範囲では、LoRAが不利になる条件や、評価したモデル・タスク以外での性能は示されていない。

ビジネスで使えるか― 実務にどう活かせるか？

自社データでモデルを調整したいが、GPUや予算が限られる場合の第一候補になる手法。1つの基盤モデルに業務ごとの小さな追加パラメータを切り替えて使えるため、複数の用途を低コストで運用しやすい。

キーワード

本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。

5 注目度

学習手法／ファインチューニング 定番 原論文 2022年 約2分で読める

InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に

Training language models to follow instructions with human feedback

要点人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。

Long Ouyang, Jeff Wu, Xu Jiang 他17名 arXiv:2203.02155

4 注目度

学習手法／ファインチューニング 定番 原論文 2023年 約2分で読める

DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

要点RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。

Rafael Rafailov, Archit Sharma, Eric Mitchell 他3名 arXiv:2305.18290

5 注目度

大規模言語モデル 定番 原論文 2017年 約2分で読める

Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に

Attention Is All You Need

要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。

Ashish Vaswani, Noam Shazeer, Niki Parmar 他5名 arXiv:1706.03762

「学習手法／ファインチューニング」の論文をもっと見る →