BERT――文の左右両方の文脈から学ぶ事前学習で、11の言語タスクの最高精度を更新
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
30秒でわかる要点
ラベルなしテキストから、全層で左右両方の文脈を同時に使う双方向の表現を事前学習する「BERT」を提案。出力層を1つ足してファインチューニングするだけで、質問応答や推論など11の言語タスクで最高精度を更新した。
要約― この論文の概要は？
Transformerによる双方向エンコーダ表現（Bidirectional Encoder Representations from Transformers）を意味する、新しい言語表現モデルBERTを紹介する。近年の言語表現モデルと異なり、BERTはすべての層で左右両方の文脈を同時に条件として、ラベルなしテキストから深い双方向の表現を事前学習するよう設計されている。その結果、事前学習済みのBERTモデルは、出力層を1つ追加してファインチューニングするだけで、タスク専用の大きな構造変更なしに、質問応答や言語推論など幅広いタスクで最高水準のモデルを作れる。BERTは概念的にシンプルで、実験的にも強力である。11の自然言語処理タスクで最高水準の結果を達成し、GLUEスコアを80.5%（7.7ポイントの絶対改善）、MultiNLIの精度を86.7%（4.6ポイントの絶対改善）、SQuAD v1.1の質問応答のテストF1を93.2（1.5ポイントの絶対改善）、SQuAD v2.0のテストF1を83.1（5.1ポイントの絶対改善）に引き上げた。
課題― 何を解決しようとしているのか？
当時の言語表現モデルは文脈を片方向（左から右など）に扱うものが中心で、タスクごとに専用の構造を設計する必要もあった。
手法― どのような方法で取り組んだのか？
すべての層で左右両方の文脈を同時に使い、ラベルなしテキストから深い双方向の表現を事前学習する「BERT」を設計。下流タスクには出力層を1つ追加してファインチューニングする。
結果― 何が分かったのか？
11の自然言語処理タスクで最高水準を達成。GLUEスコア80.5%（7.7ポイント改善）、MultiNLI精度86.7%（4.6ポイント改善）、SQuAD v1.1のテストF1 93.2（1.5ポイント改善）、SQuAD v2.0のテストF1 83.1（5.1ポイント改善）。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、手法の限界は明示されていない。BERTは文章の理解（分類・質問応答など）向けのモデルで、文章の生成についての評価は示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
文書分類、問い合わせの振り分け、社内検索の精度向上など、「文章を理解する」業務で今も軽量・低コストな選択肢として使われる。生成AIほどの計算資源を使わずに済む場面では、BERT系モデルの方が適していることも多い。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
大規模言語モデル 定番 原論文 2020年 約2分で読める
GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
大規模言語モデル 定番 原論文 2023年 約1分で読める
LLaMA――公開データだけで学習した70億〜650億パラメータのオープンな基盤モデル
LLaMA: Open and Efficient Foundation Language Models
要点70億〜650億パラメータの基盤言語モデル群「LLaMA」を、公開データだけを使って数兆トークンで学習。130億パラメータ版がほとんどのベンチマークでGPT-3（1750億）を上回り、全モデルを研究コミュニティに公開した。