字面上的意思，可以透過上下文進行學習，本質是一種讓語言模型在透過文中範例來學習該如何回答。與 Fine-Tuning (微調) 不同的是不需要重新訓練模型。這種情境下，Prompt 通常包括問題、上下文文本 和 其他 相關信息

ICL不需要模型參數的額外更新或訓練，也就是模型是凍結的(Frozen LLM)，利用模型的現有能力來解決新問題。

In-Context Learning 是教學新知識嗎？

實際上不是，而是透過文中的方法讓他有參考對應，而不是讓他學會新知識，實際上的知識依舊倚賴模型本身

Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? - ACL Anthology

實驗結果 ⇒ 給予錯誤範例並沒有導致下降很多

藍:沒有範例；黃:正確範例；紅:錯誤範例

問題：那給範例真的有學習到嗎？
若給予內容差異非常大，根據範例來學習，就會沒有效

黃:正確答案；紅:錯誤答案；紫:無關緊要的；藍:沒有給例子

實際結果推測：
這些模型本來就會做該任務(例如情感分析），也就是說 ICL 這些例子並不是需要透過範例"學習"，而是透過這些範例了解現在機器應該要做什麼任務

Larger language models do in-context learning differently

1. 當錯誤例子的比例越多時，準確度會大幅下降
2. 若模型越大則錯誤例子越多結果越差

!LLM 模型真的能學習到 prompt 範例中的特性?.png
線條顏色深到淺 = 模型大到小
X 橫軸代表prompt中呈現多少比例的錯誤範例

若 ICL 技巧用的好，甚至在 Classfication (分類) 任務上，可以讓通用模型竟然可以跟專門模型能達到一樣的效果。

!不同參數量的模型與不同分類模型的辨識數量下，模型準確度的變化.png
橫軸:問題的難度；縱軸: 成功率
SVM 更擅長做分類，但某些狀況大型語言模型只差 SVM一點點

In-Context Learning prompt 技巧，能提高LLM 回答的準確性？|小穗步分享 #4 - 小穗步
iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天