Chain-of-Thought(CoT)
為了讓模型能更清楚展現中間推理過程。
出現動機
過去 LLMs 再給答案的時候往往只有輸入和輸出,中間邏輯不可見,難以解釋也難以 debug,我們稱為 黑箱問題。
除此若有複雜推理需求,在數學、邏輯推理、問答任務中,僅憑「一步到位」的答案常常錯誤率高 → 人類解數學題、邏輯題會分步推導,CoT 借用這種「逐步思考」方式,讓模型能循序展開邏輯。
透過分步推理,模型能避免直接亂猜,精準性提升,
顯著改善在 Multi-step Reasoning(多步推理) 的表現。
→ CoT 是為了解決 模型缺乏透明推理 與 複雜任務準確率不足 的痛點而誕生。
實作
CoT 的落地方式可以從 提示設計 → 答案生成 → 系統整合 逐步展開
Prompt 工程
在 prompt 中加上 「Let’s think step by step」 → 引導模型展開逐步推理
可搭配 明確指令(例如「先列出推理,再給答案」)來提高穩定性
Few-shot 提示
提供範例:展示 題目 → 推理過程 → 最終答案
模型會模仿範例格式,提升在類似問題上的表現
多樣化生成
Self-consistency,減少單一路徑錯誤的風險:
- 讓模型生成多條推理鏈
- 投票選出最一致的答案