Toolformer――言語モデルが電卓や検索などの道具の使い方を自分で学ぶ
Toolformer: Language Models Can Teach Themselves to Use Tools
30秒でわかる要点
どのAPIを、いつ、どんな引数で呼び、結果をどう使うかを、各APIにつき数例の手本だけから自己教師ありで学ぶ「Toolformer」を提案。電卓・検索・翻訳・カレンダーなどを使えるようになり、より大きなモデルに匹敵するゼロショット性能を示した。
要約― この論文の概要は？
言語モデル（LM）は、特に大規模になると、数例やテキストの指示だけから新しいタスクを解く優れた能力を示す。しかし逆説的に、算術や事実の検索といった基本的な機能は苦手で、そこではずっと単純で小さなモデルの方が優れている。本論文では、LMがシンプルなAPIを通じて外部ツールの使い方を自ら学び、両方の長所を得られることを示す。どのAPIを呼ぶか、いつ呼ぶか、どんな引数を渡すか、結果をその後のトークン予測にどう組み込むかを判断するよう学習したモデル、Toolformerを紹介する。これは自己教師ありの方法で行われ、各APIについて数例の手本しか必要としない。電卓、質疑応答システム、2種類の検索エンジン、翻訳システム、カレンダーなど、さまざまなツールを組み込んだ。Toolformerは、中核となる言語モデリング能力を損なうことなく、さまざまな下流タスクでゼロショット性能を大きく向上させ、はるかに大きなモデルに匹敵することも多かった。
課題― 何を解決しようとしているのか？
言語モデルは新しいタスクへの適応は得意だが、算術や事実の検索といった基本機能を苦手とし、そこでは単純で小さなモデルの方が優れていた。
手法― どのような方法で取り組んだのか？
どのAPIを、いつ、どんな引数で呼び、結果をどう予測に組み込むかを判断するモデル「Toolformer」を、各APIにつき数例の手本だけから自己教師ありで学習した。電卓、質疑応答、2種類の検索エンジン、翻訳、カレンダーを組み込んだ。
結果― 何が分かったのか？
中核の言語モデリング能力を損なわずに、さまざまな下流タスクでゼロショット性能が大きく向上し、はるかに大きなモデルに匹敵することも多かった。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、組み込んだツールは電卓・質疑応答・検索・翻訳・カレンダーに限られ、より複雑なツールや複数ツールの連携については示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
LLMに社内システムのAPI（在庫照会、計算、検索など）を呼ばせる「ツール利用（Function Calling）」の考え方の源流の1つ。苦手な計算や最新情報の取得を道具に任せる設計は、業務AIの正確性を上げる定石になっている。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
エージェント 定番 原論文 2022年 約2分で読める
ReAct――「考える」と「行動する」を交互に行うLLMエージェントの基本形
ReAct: Synergizing Reasoning and Acting in Language Models
要点LLMに推論の過程（Reasoning）と行動（Acting）を交互に生成させる「ReAct」を提案。Wikipedia APIで情報を取りに行くことで思考の連鎖の幻覚や誤りの連鎖を抑え、対話型の意思決定タスクでは模倣学習・強化学習を成功率で34%・10%上回った。
エージェント 定番 原論文 2023年 約2分で読める
Generative Agents――記憶・振り返り・計画を持つAIエージェント25人が、小さな町で人間らしく暮らす
Generative Agents: Interactive Simulacra of Human Behavior
要点LLMに経験の記録・振り返り（リフレクション）・記憶の検索を組み合わせ、人間らしい行動をシミュレートする「生成エージェント」を提案。25人のエージェントが暮らす町で、1人がバレンタインパーティーを開きたいという設定だけから、招待や約束、当日の集合が自律的に起きた。
エージェント 約1分で読める
潜在空間で考えるエージェント群「SwarmEvolve」――進化的プログラム探索を高速・低コストに
SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization
要点1ラウンドに数百の低コストエージェントが群れで働き、潜在空間で推論して情報を共有する進化探索フレームワーク「SwarmEvolve」。21課題で最高の平均スコア、最良スコアへの到達は中央値3〜8分とされる。