Sigmoid

特性:

f(x)=1/(1+e(x))

Sigmoid 圖.png

優點:

  1. 輸出可直接當作機率
  2. 平滑且可微分,梯度下降友好
  3. 輸入與輸出連續,反應自然

缺點:

  1. 梯度消失:輸入太大或太小時,梯度接近 0,深層網路難訓練

Sigmoid 是一個 S 型曲線:
兩端(靠近 0 與 1)飽和,斜率很小;中間最陡
最陡的那點就是 x=0,因此最大斜率(導數)是 0.25
⇒ 在深層網路中,若輸入長期落在飽和區,梯度會很小,容易出現梯度消失

  1. 計算較慢:需計算指數函數
  2. 非零中心:輸出總是正數,可能降低收斂速度
Powered by Forestry.md