REVIEWER2 - Optimizing Review Generation Through Prompt Generation

• 康奈尔开源近10万份审稿意见，未来论文发表或将由AI定夺_公开的硕士论文专家评审数据集-CSDN博客

兩階段架構 (Two-Stage Framework)

• 第一階段 (Mp)：根據論文內容產生 "aspect prompts" (即審查角度的提示)
  • 一個經過微調的大語言模型（LLM）分析論文併產生一組應該關注的評審特徵，
    這些特徵以提示的形式出現，作為第二階段的輸入
  • 
• 第二階段 (Mr)：根據 aspect prompts 生成針對特定角度的審查評論
  • 根據論文內容和第一階段生成的特徵提示，生成詳細的評審
  • 

→ 解決了現有模型生成過於通用評論的問題，能夠產生更具針對性和細節的審查意見

Prompt Generation with Evaluation (PGE)

• 自動生成和評估 aspect prompts ，以確保高品質的提示
• 評估階段使用自評 (Self-Evaluation) 機制，保證生成的 prompts 與評論高度相關

優點

• 評論覆蓋性與可控性
  • 生成涵蓋多種角度的審查評論，避免生成過於通用的評論，提升了細節性和針對性
• 評價指標改進
  • 評價指標 (Specificity and Coverability)，用以量化評論的細節性和覆蓋性

缺點

• 輸入一致性問題
  • PGE 使用的是人工評論作為輸入，而 REVIEWER2 則包括完整論文作為輸入，這可能導致輸入來源不一致
• 生成與評論過程不連貫
  • PGE 和 REVIEWER2 的生成過程是分開進行的，這可能導致生成的 prompts 與評論的銜接不夠緊密