4 注目度 注目度 5段階中 4
マルチモーダル 定番 原論文 2021年 約2分で読める
CLIP――画像とテキストの組を4億件学習し、追加学習なしで多様な画像認識をこなす
Learning Transferable Visual Models From Natural Language Supervision
要点インターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。