Multi-Agent System (MAS)

多個 Agent 互相討論，比一個通常效果更好

What are AI agents?
AI Agent (智慧代理)
透過自主設計與調整本身的工作流程，能夠自主運行，並代替系統、人來執行特定任務

What is a multiagent system?
採用分散式運作：讓多個 AI 代理各自負責不同部分，根據需要進行溝通與協調

Multi-agent architectures

Multi-agent architectures.png

多代理系統的連接方式：

LLM 代理在提示 (prompts) 的引導下，能夠將複雜任務拆解為小目標 (subgoals) 【Khot et al., 2023】
以系統性方式思考每個部分，並可能探索多種解決路徑【Tree of Thoughts: Deliberate Problem Solving with Large Language Models | OpenReview】
從過去經驗中學習，提升決策能力【Shinn et al., 2023】

LLM-MA 系統的架構.png

代理 (agents) 由 特徵 (traits)、行為 (actions)、技能 (skills) 定義，代理在不同環境中扮演不同角色，代理分析方法 (Agent Profiling Methods)：

LLM-MA 系統的溝通是 集體智慧 (collective intelligence) 為基礎

合作型 (Cooperative)：
- 代理共同朝向相同目標，透過訊息交換來強化整體解決方案。
辯論型 (Debate)：
- 代理透過論辯互動，提出、捍衛自身觀點，並批判他人觀點，以獲得更精煉的解決方案。
- 適用於需達成共識或更精確答案的情境。
競爭型 (Competitive)：
- 代理追求各自的目標，這些目標可能與其他代理的目標發生衝突。

分層溝通 (Layered Communication)：
- 代理按 階層結構 組織，每層代理有不同角色，僅與同層或相鄰層溝通。
- 例如 DyLAN (Dynamic LLM-Agent Network)【Liu et al., 2023】使用 多層前饋網路 來組織代理，支援推理時的動態選擇與提前停止機制，提升合作效率。
去中心化溝通 (Decentralized Communication)：
- 代理間 點對點 (peer-to-peer) 直接溝通，常用於世界模擬應用 (world simulation)。
中心化溝通 (Centralized Communication)：
- 由中央代理 (central agent) 或中央節點群組 統籌溝通，其他代理主要透過中央節點交流。
共享訊息池 (Shared Message Pool)：
- MetaGPT [Hong et al., 2023] 提出的方法，維護一個共享訊息池，讓代理發佈和訂閱相關訊息，提升溝通效率。

自我反思 (self-reflection) 方法 讓模型透過自我產生的回饋來改善答案，但存在 思維退化 (Degeneration-of-Thought, DoT) 問題，即當模型對自身答案過於自信時，即便最初答案錯誤，也難以修正。

兩個數據集上驗證了 MAD 方法的有效性：

Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate Framework.png

目前的 LLM 評估方法 (Agent Evaluator) 無法良好地對齊（align）人類標註結果。如果能模仿人類評估方式，是否能提升效果？

不同的角色設定，讓代理（agents）按照人物設定進行討論：

Single-Agent：單個代理評估
Multi-Agent (Simple Role)：多個代理但角色設定相同
Multi-Agent (Diverse Role) → ✅ 最佳方法
- 每個代理具備不同的角色（如批評者、新聞作者、心理學家等），提供多元視角，改善評估準確性。

多代理的不同溝通方式：

One-by-One（逐輪發言） → ✅ 最佳方法
- 每個代理依序回應，根據前一位的發言調整自身輸出
- 保持上下文脈絡，避免資訊遺失，連貫的對話過程
- 確保每個代理基於前一個代理的意見進行推理，提高整體討論的深度與一致性
Simultaneous-Talk（同步討論）
- 所有代理同時發言，然後互相評論。
- 缺點：容易導致資訊衝突，影響評估穩定性。
Simultaneous-Talk-with-Summarizer（同步討論+摘要）
- 額外加入 總結者，幫助整理討論焦點，減少冗長對話。
- 有助於長文本處理，但可能影響個別代理的獨立判斷。