Learning Rate (學習率)
Learning Rate 控制模型中梯度下降的速度
- 當 LR 過小，可能會導致收斂較慢，且容易 Overfitting (過擬合)
- 當 LR 過大，可能會導致模型學習太快，無法收斂，容易震盪與發散
固定 LR？
若固定 LR 收斂速度變慢，且可能會卡在局部最小值，非全局最佳解
⇒ 用學習率衰退或者循環學習率
Select a result to preview
Learning Rate 控制模型中梯度下降的速度
若固定 LR 收斂速度變慢，且可能會卡在局部最小值，非全局最佳解
⇒ 用學習率衰退或者循環學習率