是指一個多維空間中的函數。
就是嘗試不同參數，計算出不同 Loss 生成的高等線圖。

我們希望最小化損失函數 $L(\theta )$，也就是在 權重參數空間 中找到能讓誤差最小的點。如果我們把損失函數 $L$ 畫在三維空間中，會得到一個「誤差曲面」：

• 橫軸：權重或參數
• 縱軸：損失值（Loss）
• 目標：找到誤差曲面的最低點 → 全域最小值 (Global Minimum)

情況

表示模型的參數與誤差之間的關係，想像是一座「地形圖」
我們想找到最低點 → 誤差最小、模型最好

給定一組模型參數時，模型預測輸出值和實際輸出值之間的差異或誤差，Error Surface 的形狀和梯度方向可以幫助我們理解優化算法的行為。

（左） 碗狀 (Convex)

• 形狀是一個碗狀結構，梯度方向會一直指向碗底，因此梯度方向指向函數值減小的方向
• 那麼梯度下降算法就可以快速地找到損失函數的最小值

（右）崎嶇不平 (Non-convex)

• 如果形狀復雜，有多個局部最小值
• 梯度下降算法可能會停留在其中一個局部最小值(local minima)，而無法找到全局最優解 → 梯度可能被卡在某個小山谷
• 無法找到全域最低點 → 訓練會變得困難

Fig: Left: a convex function. Right: a non-convex function.

可以嘗試使用解決
⇒ Batch Normalization