Chain-of-Thought(CoT)

為了讓模型能更清楚展現中間推理過程。


出現動機

過去 LLMs 再給答案的時候往往只有輸入和輸出,中間邏輯不可見,難以解釋也難以 debug,我們稱為 黑箱問題

除此若有複雜推理需求,在數學、邏輯推理、問答任務中,僅憑「一步到位」的答案常常錯誤率高 → 人類解數學題、邏輯題會分步推導,CoT 借用這種「逐步思考」方式,讓模型能循序展開邏輯。

透過分步推理,模型能避免直接亂猜,精準性提升
顯著改善在 Multi-step Reasoning(多步推理) 的表現。

→ CoT 是為了解決 模型缺乏透明推理複雜任務準確率不足 的痛點而誕生。


實作

CoT 的落地方式可以從 提示設計 → 答案生成 → 系統整合 逐步展開

Prompt 工程

在 prompt 中加上 「Let’s think step by step」 → 引導模型展開逐步推理
可搭配 明確指令(例如「先列出推理,再給答案」)來提高穩定性

Few-shot 提示

提供範例:展示 題目 → 推理過程 → 最終答案
模型會模仿範例格式,提升在類似問題上的表現

多樣化生成

Self-consistency,減少單一路徑錯誤的風險:

  1. 讓模型生成多條推理鏈
  2. 投票選出最一致的答案

Powered by Forestry.md