Error Surface is Rugged

问题

事实上，用一般的 Gradient Descent 方法，我们的训练往往走不到 Critical Point 就停止了。

学习率大了，步子太大，震荡；学习率小了，步子太小，训练不动

因此要客制化 Learning Rate！

${\sigma }_i^t$ 代表其是由参数和迭代次数决定的。

计算方法

均方根：Adagrad

但是仍需要改进，就算是同一个参数，需要的 Learning Rate 也会因为 Gradient 大小改变而需要改变。

RMSProp

我们可以自己决定算出来的 $\sigma$ 权重的占比，让他更看重最近新算出来的 Gradient

Adam = RMSProp + Momentum

EMA

事实上，Momentum 和 RMSProp 本质都是 EMA。

Adam 维护了两个“关于梯度的记忆”，都是指数滑动平均（EMA）：

1. 一阶 EMA（向量）：
   • 梯度本身的指数滑动平均
   • 记住运动的“方向和趋势”（也影响大小）
   • 类似“惯性”
2. 二阶 EMA（逐坐标标量）：
   • 梯度平方的指数滑动平均
   • 记住这个方向“通常有多陡”
   • 决定你在这个方向上“该走多大一步”

• EMA：

$${\mathrm{EMA}}_t(x)=\beta {\mathrm{EMA}}_{t-1}(x)+(1-\beta )x_t=(1-\beta )\sum _{k=0}^{\infty }{\beta }^k{x}_{t-k},\beta \in (0,1)$$

• Momentum (一阶 EMA)：

$$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

• RMSProp（二阶 EMA）：

$$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

Bias Correction（Adam 除了 RMS 和 Momentum 以外的一个改进）：

$${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t},{\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

• Adam：

$${\theta }_{t+1}={\theta }_t-\eta \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

Adam 变体

• AdamW（L2 正则化时，weight decay 不进入 EMA）

$${\theta }_{t+1}=(1-\eta \lambda ){\theta }_t-\eta \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

• RAdam（Adam + 自动 warmup —— rectification）
  • 早期：行为类似 Momentum SGD
  • 后期：行为类似 Adam

$${\rho }_t={\rho }_{\infty }-\frac{2t{\beta }_2^t}{1-{\beta }_2^t},{\rho }_{\infty }=\frac{2}{1-{\beta }_2}-1$$ $${\theta }_{t+1}=\{\begin{array}{ll}{\theta }_t-\eta \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ},& {\rho }_t>{\rho }_{\text{th}}\\ {\theta }_t-\eta {\hat{m}}_t,& {\rho }_t\le {\rho }_{\text{th}}\end{array}$$

Example

爆炸是因为 $\sigma$ 过小，导致更新较大

可以依靠 Learning Rate Scheduling 解决

• Learning Rate Decay
• Warm Up 一个可能的原因是，由于 $\sigma$ 是一个统计数据，一开始并不准确，所以需要先缓慢移动，探索、收集数据，然后再逐步提升学习率，开始快速优化、Decay