當我們在訓練的過程中，當 gradient = 0 時，參數不再更新的狀況

有兩種可能會造成 critical point:

• Local Minima（局部最小點）
  • 代表已經是此解相對低點的位置了
• Saddle Point（鞍點）
  • 代表該模型還有仍然還有很多可優化空間
  • 只是某個方向的最低點
  • Escaping from Saddle Points

!臨界點的意思.png

如何判斷？

Hessian
Taylor Series Approximation