Sigmoid
特性:
- 輸出範圍固定在 0~1(適合機率解釋)
- 平滑且可微分,適合梯度下降
- S 型曲線,對中間區域變化敏感,兩端趨於平緩

優點:
- 輸出可直接當作機率
- 平滑且可微分,梯度下降友好
- 輸入與輸出連續,反應自然
缺點:
- 梯度消失:輸入太大或太小時,梯度接近 0,深層網路難訓練
Sigmoid 是一個 S 型曲線:
兩端(靠近 0 與 1)飽和,斜率很小;中間最陡
最陡的那點就是
⇒ 在深層網路中,若輸入長期落在飽和區,梯度會很小,容易出現梯度消失;
- 計算較慢:需計算指數函數
- 非零中心:輸出總是正數,可能降低收斂速度