Tree of Thoughts (TOT)
Paper: 2305.10601
Deliberate Problem Solving with Large Language Models
目前遇到哪些問題？
⇒ 傳統的語言模型 ( e.g. GPT-4 ) 主要依賴 Chain-of-Thought（CoT） 的方式進行推理，模型按照固定順序一步一步生成回應，這種線性局限性：
- 無法回溯或修正早期決策
- 缺乏全局規劃與探索
- 需要多部推理複雜問題
如何讓語言模型更有條理的進行決策？
- 將問題拆分為多個「思維步驟」(thoughts)
- 允許模型探索多種推理路徑（而非單一路徑）
- 自我評估與回溯
