CLIP――画像とテキストの組を4億件学習し、追加学習なしで多様な画像認識をこなす
Learning Transferable Visual Models From Natural Language Supervision
30秒でわかる要点
インターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。
要約― この論文の概要は？
最先端のコンピュータビジョンシステムは、あらかじめ決められた物体カテゴリの集合を予測するよう学習される。この限定的な教師信号は、他の視覚概念を扱うたびに追加のラベル付きデータが必要になるため、汎用性と使いやすさを制限している。画像についての生のテキストから直接学ぶことは、はるかに幅広い教師信号を活用できる有望な代替手段である。本論文は、インターネットから集めた4億組の（画像、テキスト）データセットで、どのキャプションがどの画像に対応するかを予測するという単純な事前学習タスクが、最先端の画像表現をゼロから学ぶ効率的でスケーラブルな方法であることを示す。事前学習後は、自然言語で学習済みの視覚概念を参照（または新しい概念を記述）でき、下流タスクへのゼロショット転用が可能になる。OCR、動画の行動認識、位置推定、多様な細分類など、30以上の既存のコンピュータビジョンデータセットで性能を評価した。モデルはほとんどのタスクに有意に転用でき、データセット固有の学習なしに、完全教師ありのベースラインに匹敵することも多い。例えば、ImageNetでは、元のResNet-50が学習に使った128万例を一切使わずに、ゼロショットでその精度に並んだ。コードと学習済みの重みを公開している。
課題― 何を解決しようとしているのか？
従来の画像認識は決められたカテゴリの予測に限られ、新しい視覚概念を扱うたびに追加のラベル付きデータが必要で、汎用性が低かった。
手法― どのような方法で取り組んだのか？
インターネットから集めた4億組の画像とテキストで、どのキャプションがどの画像に対応するかを予測する事前学習を行った。学習後は自然言語で概念を指定し、追加学習なしで下流タスクに転用する（ゼロショット）。
結果― 何が分かったのか？
OCR、動画の行動認識、位置推定、細分類など30以上のデータセットで評価し、ほとんどのタスクに転用でき、完全教師ありのベースラインに匹敵することも多かった。ImageNetではゼロショットで元のResNet-50と同等の精度を達成した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、転用がうまくいかないタスクの詳細や、ウェブ由来データの偏りの影響は示されていない（「ほとんどのタスク」に転用できるとされ、すべてではない）。
ビジネスで使えるか― 実務にどう活かせるか？
画像検索、商品画像の自動タグ付け、不適切画像の検知などを、タスクごとの学習データを大量に用意せずに試せる発想の元になった手法。画像生成AIでテキスト指示を画像に結びつける部品としても広く使われている。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
推論 定番 原論文 2022年 約2分で読める
思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
要点プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。
画像生成 定番 原論文 2020年 約1分で読める
拡散モデル（DDPM）――ノイズ除去を繰り返して高品質な画像を生成する、画像生成AIの基礎
Denoising Diffusion Probabilistic Models
要点非平衡熱力学に着想を得た「拡散確率モデル」で高品質な画像生成を実現。CIFAR10でFID 3.17の最高スコアを出し、LSUN 256×256ではProgressiveGANと同等の品質を得た。