Tree of Thoughts――複数の考え筋を試し、見通し・後戻りしながら解くLLMの推論法
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
30秒でわかる要点
思考の連鎖を一般化し、複数の推論の道筋を木のように探索して自己評価し、先読みや後戻りもできる推論の枠組み「Tree of Thoughts」を提案。24ゲームでは、思考の連鎖を使ったGPT-4の正解率4%に対し、74%を達成した。
要約― この論文の概要は？
言語モデルは幅広いタスクの汎用的な問題解決に使われるようになっているが、推論時はまだトークン単位で左から右へと判断する過程に限られている。そのため、探索や戦略的な先読みが必要なタスクや、最初の判断が重要な役割を果たすタスクでは力を発揮しきれないことがある。これを克服するため、言語モデルの推論のための新しい枠組み「Tree of Thoughts（ToT）」を導入する。ToTは、言語モデルへのプロンプトで広く使われる思考の連鎖（Chain of Thought）を一般化し、問題解決に向けた中間ステップとなる、まとまりのあるテキストの単位（思考）の上で探索できるようにする。ToTによって、言語モデルは複数の異なる推論の道筋を検討し、選択肢を自己評価して次の行動を決めるとともに、必要に応じて先読みや後戻りをして全体的な判断を下す、熟慮した意思決定を行える。実験では、ToTが、自明でない計画や探索を要する3つの新しいタスク（24ゲーム、創作文、ミニクロスワード）で、言語モデルの問題解決能力を大きく高めることを示した。例えば24ゲームでは、思考の連鎖プロンプトを使ったGPT-4が4%のタスクしか解けなかったのに対し、我々の手法は74%の成功率を達成した。すべてのプロンプトを含むコードを公開している。
課題― 何を解決しようとしているのか？
言語モデルの推論はトークン単位で左から右へ進むため、探索や先読みが必要なタスクや、最初の判断が重要なタスクでは失敗しやすかった。
手法― どのような方法で取り組んだのか？
思考の連鎖を一般化し、まとまった「思考」を単位として複数の推論の道筋を木のように探索する枠組み「Tree of Thoughts」を提案。選択肢を自己評価し、必要に応じて先読みや後戻りをする。
結果― 何が分かったのか？
24ゲーム、創作文、ミニクロスワードの3タスクで問題解決能力が大きく向上。24ゲームでは、思考の連鎖プロンプトを使ったGPT-4の4%に対し、74%の成功率を達成した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、評価は計画や探索を要する3つのタスクで行われている。複数の道筋を試すぶん、計算コストがどの程度増えるかは示されていない。
ビジネスで使えるか― 実務にどう活かせるか？
複数案を出して比較・評価し、筋の悪い案を捨てて進める考え方は、企画立案や複雑な条件の判断をAIに手伝わせる際のプロンプト設計に応用できる。精度と引き換えに呼び出し回数（コスト）が増える点は見積もりに入れておきたい。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
推論 定番 原論文 2022年 約2分で読める
思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
要点プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。
大規模言語モデル 定番 原論文 2020年 約2分で読める
GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
Language Models are Few-Shot Learners
要点1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
エージェント 定番 原論文 2022年 約2分で読める
ReAct――「考える」と「行動する」を交互に行うLLMエージェントの基本形
ReAct: Synergizing Reasoning and Acting in Language Models
要点LLMに推論の過程（Reasoning）と行動（Acting）を交互に生成させる「ReAct」を提案。Wikipedia APIで情報を取りに行くことで思考の連鎖の幻覚や誤りの連鎖を抑え、対話型の意思決定タスクでは模倣学習・強化学習を成功率で34%・10%上回った。