训练深度学习模型时，我们每天都在用 SGD、Momentum、Adam、AdamW，但很少有人能说清它们之间的数学关系：为什么动量能加速收敛？为什么 Adam 要维护两个矩估计？偏差修正那一项到底在修什么？AdamW 与 Adam 的区别真的只是"先做权重衰减"吗？本文从凸优化的收敛性分析出发，建立梯度下降的理论基线，然后逐步推导动量法、Nesterov 加速、Adagrad、RMSProp、Adam 与 AdamW，把优化器的演进理解为"逐步修补梯度估计的偏差与尺度缺陷"，并给出每个关键公式的严格推导与收敛性说明。
深度学习训练可以写成无约束优化问题：
min θ ∈ R d L ( θ ) = 1 N ∑ i = 1 N ℓ ( f θ ( x i ) , y i ) \min_{\theta \in \mathbb{R}^d} \quad L(\theta) = \frac{1}{N} \sum_{i=1}^{N} \ell(f_\theta(x_i), y_i)
θ ∈ R d min L ( θ ) = N 1 i = 1 ∑ N ℓ ( f θ ( x i ) , y i )
其中 ℓ \ell ℓ N N N θ t + 1 = θ t − η t g t \theta_{t+1} = \theta_t - \eta_t g_t θ t + 1 = θ t − η t g t θ ∗ = arg min L ( θ ) \theta^* = \arg\min L(\theta) θ ∗ = arg min L ( θ )
收敛性分析依赖对损失函数几何性质的假设。两个核心概念：
L-光滑（L-smooth） ：梯度是 L-Lipschitz 连续的：
∥ ∇ L ( θ ) − ∇ L ( θ ′ ) ∥ ≤ L ∥ θ − θ ′ ∥ , ∀ θ , θ ′ \|\nabla L(\theta) - \nabla L(\theta')\| \le L \|\theta - \theta'\|, \quad \forall \theta, \theta'
∥ ∇ L ( θ ) − ∇ L ( θ ′ ) ∥ ≤ L ∥ θ − θ ′ ∥ , ∀ θ , θ ′
等价地，损失函数被二次函数从上下夹逼：
L ( θ ′ ) ≤ L ( θ ) + ∇ L ( θ ) ⊤ ( θ ′ − θ ) + L 2 ∥ θ ′ − θ ∥ 2 L(\theta') \le L(\theta) + \nabla L(\theta)^{\top}(\theta' - \theta) + \frac{L}{2}\|\theta' - \theta\|^2
L ( θ ′ ) ≤ L ( θ ) + ∇ L ( θ ) ⊤ ( θ ′ − θ ) + 2 L ∥ θ ′ − θ ∥ 2
这个不等式是几乎所有收敛性证明的起点，它刻画了"梯度变化不会太快"。
μ \mu μ μ \mu μ
L ( θ ′ ) ≥ L ( θ ) + ∇ L ( θ ) ⊤ ( θ ′ − θ ) + μ 2 ∥ θ ′ − θ ∥ 2 L(\theta') \ge L(\theta) + \nabla L(\theta)^{\top}(\theta' - \theta) + \frac{\mu}{2}\|\theta' - \theta\|^2
L ( θ ′ ) ≥ L ( θ ) + ∇ L ( θ ) ⊤ ( θ ′ − θ ) + 2 μ ∥ θ ′ − θ ∥ 2
强凸保证最优解唯一且"谷底足够深"，是线性收敛的前提。两者的比值 κ = L / μ \kappa = L/\mu κ = L / μ 条件数 ，是刻画问题难度的核心指标。
对 L-光滑函数，取学习率 η ≤ 1 / L \eta \le 1/L η ≤ 1 / L 单调下降 ：
L ( θ t + 1 ) ≤ L ( θ t ) − η 2 ∥ ∇ L ( θ t ) ∥ 2 L(\theta_{t+1}) \le L(\theta_t) - \frac{\eta}{2}\|\nabla L(\theta_t)\|^2
L ( θ t + 1 ) ≤ L ( θ t ) − 2 η ∥ ∇ L ( θ t ) ∥ 2
证明：由 L-光滑不等式代入 θ ′ = θ t + 1 \theta' = \theta_{t+1} θ ′ = θ t + 1 θ = θ t \theta = \theta_t θ = θ t θ t + 1 − θ t = − η ∇ L ( θ t ) \theta_{t+1} - \theta_t = -\eta \nabla L(\theta_t) θ t + 1 − θ t = − η ∇ L ( θ t )
对 L-光滑且 μ \mu μ η = 1 / L \eta = 1/L η = 1 / L 线性收敛 ：
L ( θ T ) − L ( θ ∗ ) ≤ ( 1 − μ L ) T ( L ( θ 0 ) − L ( θ ∗ ) ) L(\theta_T) - L(\theta^*) \le \left( 1 - \frac{\mu}{L} \right)^T \left( L(\theta_0) - L(\theta^*) \right)
L ( θ T ) − L ( θ ∗ ) ≤ ( 1 − L μ ) T ( L ( θ 0 ) − L ( θ ∗ ) )
推导要点：利用强凸给出 L ( θ t ) − L ( θ ∗ ) ≤ 1 2 μ ∥ ∇ L ( θ t ) ∥ 2 L(\theta_t) - L(\theta^*) \le \frac{1}{2\mu}\|\nabla L(\theta_t)\|^2 L ( θ t ) − L ( θ ∗ ) ≤ 2 μ 1 ∥ ∇ L ( θ t ) ∥ 2 1 − μ / L 1 - \mu/L 1 − μ / L
结论 ：收敛率由条件数 κ = L / μ \kappa = L/\mu κ = L / μ κ \kappa κ
为什么收敛性分析重要
收敛率 $1 - \mu/L$ 里的条件数 $\kappa$ 解释了"山谷为什么难训练"：一个方向曲率大（$L$ 大）、另一个方向曲率小（$\mu$ 小），梯度在陡峭方向反复震荡、在平缓方向缓慢爬行。后续所有优化器本质上都在做同一件事：降低更新对条件数的敏感度。动量通过累积历史梯度，自适应方法通过逐参数缩放学习率。
全批量梯度 ∇ L ( θ ) = 1 N ∑ i ∇ ℓ i ( θ ) \nabla L(\theta) = \frac{1}{N}\sum_i \nabla \ell_i(\theta) ∇ L ( θ ) = N 1 ∑ i ∇ ℓ i ( θ ) N N N N ∼ 1 0 7 N \sim 10^7 N ∼ 1 0 7
g t = 1 m ∑ i ∈ B t ∇ ℓ i ( θ t ) g_t = \frac{1}{m} \sum_{i \in \mathcal{B}_t} \nabla \ell_i(\theta_t)
g t = m 1 i ∈ B t ∑ ∇ ℓ i ( θ t )
其中 B t \mathcal{B}_t B t t t t m m m g t g_t g t ∇ L ( θ t ) \nabla L(\theta_t) ∇ L ( θ t ) 无偏估计 ：
E [ g t ] = ∇ L ( θ t ) \mathbb{E}[g_t] = \nabla L(\theta_t)
E [ g t ] = ∇ L ( θ t )
小批量梯度的方差为 E ∥ g t − ∇ L ( θ t ) ∥ 2 ≈ σ 2 / m \mathbb{E}\|g_t - \nabla L(\theta_t)\|^2 \approx \sigma^2 / m E ∥ g t − ∇ L ( θ t ) ∥ 2 ≈ σ 2 / m σ 2 \sigma^2 σ 2
对 L-光滑 + 强凸函数，取衰减学习率 η t = Θ ( 1 / t ) \eta_t = \Theta(1/t) η t = Θ ( 1 / t )
E [ L ( θ T ) − L ( θ ∗ ) ] = O ( 1 T ) \mathbb{E}[L(\theta_T) - L(\theta^*)] = O\left( \frac{1}{T} \right)
E [ L ( θ T ) − L ( θ ∗ ) ] = O ( T 1 )
对比全批量梯度下降的线性收敛（指数衰减），随机性把收敛率从 O ( ( 1 − μ / L ) T ) O((1-\mu/L)^T) O ( ( 1 − μ / L ) T ) O ( 1 / T ) O(1/T) O ( 1 / T ) 这是随机化的代价 。
批量大小 m m m ∝ 1 / m \propto 1/m ∝ 1 / m 线性缩放规则（linear scaling rule） ，batch 翻倍则学习率翻倍。但 batch 过大（超过某阈值）后，梯度估计进入"精确但过拟合当前 batch"的区域，缩放规则失效，且大 batch 的泛化性通常略差于小 batch，这被称为"泛化差距"（generalization gap）。
SGD 对学习率极其敏感，需要精心设计调度：
固定学习率 ：只适合凸问题，非凸下难收敛。步衰减（step decay） ：每固定步数乘以衰减因子（如每 30 epoch 乘 0.1），经典 CNN 训练标配。余弦退火（cosine decay） ：η t = η min + 1 2 ( η max − η min ) ( 1 + cos ( π t / T ) ) \eta_t = \eta_{\min} + \frac{1}{2}(\eta_{\max} - \eta_{\min})(1 + \cos(\pi t / T)) η t = η m i n + 2 1 ( η m a x − η m i n ) ( 1 + cos ( π t / T ) )
动量法维护速度变量 v t v_t v t
v t = β v t − 1 + g t , θ t + 1 = θ t − η v t v_t = \beta v_{t-1} + g_t, \quad \theta_{t+1} = \theta_t - \eta v_t
v t = β v t − 1 + g t , θ t + 1 = θ t − η v t
展开 v t v_t v t
v t = ∑ i = 0 t β t − i g i = g t + β g t − 1 + β 2 g t − 2 + ⋯ v_t = \sum_{i=0}^{t} \beta^{t-i} g_i = g_t + \beta g_{t-1} + \beta^2 g_{t-2} + \cdots
v t = i = 0 ∑ t β t − i g i = g t + β g t − 1 + β 2 g t − 2 + ⋯
权重按 β i \beta^i β i β = 0.9 \beta = 0.9 β = 0 . 9 1 / ( 1 − β ) = 10 1/(1-\beta) = 10 1 / ( 1 − β ) = 1 0
对 L-光滑 + μ \mu μ
L ( θ T ) − L ( θ ∗ ) ≤ O ( ( 1 − μ L ) T ) L(\theta_T) - L(\theta^*) \le O\left( \left( 1 - \sqrt{\frac{\mu}{L}} \right)^T \right)
L ( θ T ) − L ( θ ∗ ) ≤ O ( ( 1 − L μ ) T )
关键对比：朴素梯度下降的衰减因子是 1 − μ / L 1 - \mu/L 1 − μ / L 1 − μ / L 1 - \sqrt{\mu/L} 1 − μ / L μ / L ≫ μ / L \sqrt{\mu/L} \gg \mu/L μ / L ≫ μ / L κ > 1 \kappa > 1 κ > 1 动量把条件数的影响从 κ \kappa κ κ \sqrt{\kappa} κ 。
直观解释：在"山谷"地形中，梯度在陡峭方向（曲率 L L L μ \mu μ 震荡方向的历史梯度相互抵消，平缓方向的同向分量持续叠加 ，净速度偏向主方向，等效于"绕过了条件数的平方"。
v t v_t v t 1 − β t 1 - \beta^t 1 − β t
Nesterov 加速梯度在动量法基础上加了一个"前瞻"修正：先用当前速度预演一步，在预演位置计算梯度：
v t + 1 = β v t + ∇ L ( θ t − η β v t ) v_{t+1} = \beta v_t + \nabla L(\theta_t - \eta \beta v_t)
v t + 1 = β v t + ∇ L ( θ t − η β v t )
θ t + 1 = θ t − η v t + 1 \theta_{t+1} = \theta_t - \eta v_{t+1}
θ t + 1 = θ t − η v t + 1
与标准动量的唯一区别是梯度计算位置：标准动量在 θ t \theta_t θ t θ t − η β v t \theta_t - \eta \beta v_t θ t − η β v t
在接近最优点的下坡路段，标准动量因为惯性容易过冲 （越过最优点后仍沿原方向前进）。NAG 在预演位置看到"前方开始上坡"，能提前减小步长。形式化地，NAG 对凸光滑函数达到最优收敛率：
L ( θ T ) − L ( θ ∗ ) ≤ O ( 1 T 2 ) ( 凸情形 ) L(\theta_T) - L(\theta^*) \le O\left( \frac{1}{T^2} \right) \quad (\text{凸情形})
L ( θ T ) − L ( θ ∗ ) ≤ O ( T 2 1 ) ( 凸情形 )
L ( θ T ) − L ( θ ∗ ) ≤ O ( ( 1 − μ L ) T ) ( 强凸情形 ) L(\theta_T) - L(\theta^*) \le O\left( \left( 1 - \sqrt{\frac{\mu}{L}} \right)^T \right) \quad (\text{强凸情形})
L ( θ T ) − L ( θ ∗ ) ≤ O ( ( 1 − L μ ) T ) ( 强凸情形 )
凸情形下的 O ( 1 / T 2 ) O(1/T^2) O ( 1 / T 2 ) 最优一阶方法 。
动量系优化器解决了"方向"，还没解决"尺度"
动量与 NAG 都用历史梯度修正更新方向（抑制震荡、加速主方向），但所有参数仍然共享同一个学习率。实际问题里不同参数的梯度尺度差异巨大：深层网络靠近输入的层梯度小、靠近输出的层梯度大；稀疏特征只被少数样本激活。下一步的自适应方法专门解决"每个参数该有自己的学习率"。
Adagrad 为每个参数维护历史梯度平方的累积和，用它的平方根逐参数缩放学习率：
G t = ∑ i = 1 t g i ⊙ g i G_t = \sum_{i=1}^{t} g_i \odot g_i
G t = i = 1 ∑ t g i ⊙ g i
θ t + 1 = θ t − η G t + ϵ ⊙ g t \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{G_t + \epsilon}} \odot g_t
θ t + 1 = θ t − G t + ϵ η ⊙ g t
其中 ⊙ \odot ⊙ ϵ \epsilon ϵ 1 0 − 8 10^{-8} 1 0 − 8 频繁更新、梯度大的参数累积 G t G_t G t ，这让 Adagrad 天然适合稀疏特征（如词嵌入、one-hot 编码）。
Regret 分析 ：Adagrad 的在线学习 regret 界为：
R ( T ) = ∑ t = 1 T f t ( θ t ) − min θ ∑ t = 1 T f t ( θ ) = O ( ∑ i = 1 d ∥ g 1 : T , i ∥ 2 2 ) R(T) = \sum_{t=1}^{T} f_t(\theta_t) - \min_\theta \sum_{t=1}^{T} f_t(\theta) = O\left( \sqrt{\sum_{i=1}^{d} \|g_{1:T,i}\|_2^2} \right)
R ( T ) = t = 1 ∑ T f t ( θ t ) − θ min t = 1 ∑ T f t ( θ ) = O ⎝ ⎛ i = 1 ∑ d ∥ g 1 : T , i ∥ 2 2 ⎠ ⎞
对比 SGD 的 O ( T ) O(\sqrt{T}) O ( T ) 数据本身的结构 （各维度梯度范数）相关，对稀疏数据显著更好。
缺陷 ：G t G_t G t η / G t \eta/\sqrt{G_t} η / G t
RMSProp 把"全历史累积"改为指数加权滑动平均 ，让梯度平方的估计能"遗忘"旧信息：
v t = β 2 v t − 1 + ( 1 − β 2 ) g t ⊙ g t v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t \odot g_t
v t = β 2 v t − 1 + ( 1 − β 2 ) g t ⊙ g t
θ t + 1 = θ t − η v t + ϵ ⊙ g t \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{v_t + \epsilon}} \odot g_t
θ t + 1 = θ t − v t + ϵ η ⊙ g t
β 2 = 0.999 \beta_2 = 0.999 β 2 = 0 . 9 9 9 v t v_t v t E [ g 2 ] \mathbb{E}[g^2] E [ g 2 ] v t \sqrt{v_t} v t η / v t \eta/\sqrt{v_t} η / v t 白化梯度坐标 。
RMSProp 解决了 Adagrad 学习率单调衰减的问题，但缺少动量项，在高曲率方向仍会震荡。
Adam（Adaptive Moment Estimation，Kingma & Ba 2015）把动量法与 RMSProp 结合：一阶矩 m t m_t m t v t v_t v t
m t = β 1 m t − 1 + ( 1 − β 1 ) g t m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t
m t = β 1 m t − 1 + ( 1 − β 1 ) g t
v t = β 2 v t − 1 + ( 1 − β 2 ) g t ⊙ g t v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t \odot g_t
v t = β 2 v t − 1 + ( 1 − β 2 ) g t ⊙ g t
默认 β 1 = 0.9 \beta_1 = 0.9 β 1 = 0 . 9 β 2 = 0.999 \beta_2 = 0.999 β 2 = 0 . 9 9 9
m t m_t m t m t m_t m t
m t = ( 1 − β 1 ) ∑ i = 1 t β 1 t − i g i m_t = (1 - \beta_1) \sum_{i=1}^{t} \beta_1^{t-i} g_i
m t = ( 1 − β 1 ) i = 1 ∑ t β 1 t − i g i
若梯度序列平稳（E [ g i ] = g \mathbb{E}[g_i] = g E [ g i ] = g
E [ m t ] = ( 1 − β 1 ) ∑ i = 1 t β 1 t − i g = g ( 1 − β 1 t ) \mathbb{E}[m_t] = (1 - \beta_1) \sum_{i=1}^{t} \beta_1^{t-i} g = g (1 - \beta_1^t)
E [ m t ] = ( 1 − β 1 ) i = 1 ∑ t β 1 t − i g = g ( 1 − β 1 t )
期望值只有真实梯度 g g g 1 − β 1 t 1 - \beta_1^t 1 − β 1 t 系统性低估 。除以 1 − β 1 t 1 - \beta_1^t 1 − β 1 t
m ^ t = m t 1 − β 1 t , v ^ t = v t 1 − β 2 t \hat{m}_t = \frac{m_t}{1 - \beta_1^t}, \quad \hat{v}_t = \frac{v_t}{1 - \beta_2^t}
m ^ t = 1 − β 1 t m t , v ^ t = 1 − β 2 t v t
使得 E [ m ^ t ] = g \mathbb{E}[\hat{m}_t] = g E [ m ^ t ] = g E [ v ^ t ] = E [ g 2 ] \mathbb{E}[\hat{v}_t] = \mathbb{E}[g^2] E [ v ^ t ] = E [ g 2 ] 修正在训练早期（t t t ：t = 1 t = 1 t = 1 1 − β 1 = 0.1 1 - \beta_1 = 0.1 1 − β 1 = 0 . 1 t t t 1 − β 1 t → 1 1 - \beta_1^t \to 1 1 − β 1 t → 1
θ t + 1 = θ t − η v ^ t + ϵ ⊙ m ^ t \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \odot \hat{m}_t
θ t + 1 = θ t − v ^ t + ϵ η ⊙ m ^ t
Kingma & Ba 在凸设定下证明了 regret 界：
R ( T ) ≤ D 2 2 η ( 1 − β 1 ) ∑ i = 1 d T v ^ T , i + η ( 1 + β 1 ) ( 1 − β 1 ) 1 − β 2 ∑ i = 1 d ∥ g 1 : T , i ∥ 2 R(T) \le \frac{D^2}{2\eta(1 - \beta_1)} \sum_{i=1}^{d} \sqrt{T \hat{v}_{T,i}} + \frac{\eta(1 + \beta_1)}{(1 - \beta_1)\sqrt{1 - \beta_2}} \sum_{i=1}^{d} \|g_{1:T,i}\|_2
R ( T ) ≤ 2 η ( 1 − β 1 ) D 2 i = 1 ∑ d T v ^ T , i + ( 1 − β 1 ) 1 − β 2 η ( 1 + β 1 ) i = 1 ∑ d ∥ g 1 : T , i ∥ 2
其中 D D D v ^ T , i \hat{v}_{T,i} v ^ T , i
R ( T ) = O ( T ) R(T) = O\left( \sqrt{T} \right)
R ( T ) = O ( T )
与非自适应方法同阶，但对稀疏梯度、非平稳目标（梯度分布随时间变化）显著更稳健，因为每个维度的缩放自适应于该维度的梯度历史。
Adam 存在两个被广泛讨论的问题：
收敛性缺陷 ：Reddi et al. 指出，Adam 的 v ^ t \hat{v}_t v ^ t v ^ t \hat{v}_t v ^ t 泛化差距 ：Adam 在训练集上收敛快，但测试集泛化常略逊于 SGD+Momentum。一种解释是 Adam 的逐参数缩放等效于"改变了正则化几何"，另一种观点认为 SGD 的隐式正则（沿着平坦方向）更强。这也推动了 AdamW 与 SGD 融合方向的研究。
优化器的演进脉络：每步都在修补前一步的缺陷
SGD 是基线，方差大、对条件数敏感；动量修补"方向震荡"（条件数 $\kappa \to \sqrt{\kappa}$）；NAG 用前瞻达到一阶方法最优速率；Adagrad 修补"尺度不均"但引入学习率单调衰减；RMSProp 用滑动平均修复衰减；Adam 融合动量与自适应尺度并显式做偏差修正；AdamW 修复 Adam 里权重衰减被自适应缩放破坏的问题。每一步都是对前一步缺陷的针对性修补，理解这条线就能理解每个超参数存在的理由。
**权重衰减（weight decay）**在每步更新时把参数向零收缩：
θ t + 1 = ( 1 − η λ ) θ t − η g t \theta_{t+1} = (1 - \eta \lambda) \theta_t - \eta g_t
θ t + 1 = ( 1 − η λ ) θ t − η g t
L2 正则 在损失中加入 λ ′ 2 ∥ θ ∥ 2 \frac{\lambda'}{2}\|\theta\|^2 2 λ ′ ∥ θ ∥ 2 ∇ L ( θ ) + λ ′ θ \nabla L(\theta) + \lambda' \theta ∇ L ( θ ) + λ ′ θ
θ t + 1 = θ t − η ∇ L ( θ t ) − η λ ′ θ t \theta_{t+1} = \theta_t - \eta \nabla L(\theta_t) - \eta \lambda' \theta_t
θ t + 1 = θ t − η ∇ L ( θ t ) − η λ ′ θ t
对朴素 SGD ，两者数学等价（λ ′ = λ \lambda' = \lambda λ ′ = λ
Adam 的更新用 v ^ t \hat{v}_t v ^ t
θ t + 1 = θ t − η v ^ t + ϵ ⊙ ( m ^ t + λ ′ θ t ) \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \odot \left( \hat{m}_t + \lambda' \theta_t \right)
θ t + 1 = θ t − v ^ t + ϵ η ⊙ ( m ^ t + λ ′ θ t )
问题在于权重衰减项被自适应缩放后，每个参数的衰减强度不一致 ：频繁更新、梯度大的参数 v ^ t \hat{v}_t v ^ t λ ′ θ t / v ^ t \lambda'\theta_t / \sqrt{\hat{v}_t} λ ′ θ t / v ^ t
AdamW（Loshchilov & Hutter 2019）把权重衰减从梯度中解耦，直接作用于参数：
θ t + 1 = θ t − η v ^ t + ϵ ⊙ m ^ t − η λ θ t \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \odot \hat{m}_t - \eta \lambda \theta_t
θ t + 1 = θ t − v ^ t + ϵ η ⊙ m ^ t − η λ θ t
权重衰减项 η λ θ t \eta \lambda \theta_t η λ θ t v ^ t \hat{v}_t v ^ t 收敛性论证 ：解耦后的权重衰减等价于在归一化坐标系下做 L2 正则，保证与 L2 正则的理论等价性恢复；而耦合版本（Adam-L2）在数学上是不严谨的（Loshchilov & Hutter 用反例说明其收敛性质与 L2 正则不一致）。
实践证据 ：AdamW 在 Transformer、BERT、GPT 系列上的一致优于 Adam-L2，且权重衰减的尺度更可解释（不再依赖各参数梯度尺度的耦合）。AdamW 已成为现代大模型训练的事实标准。
现代深度学习训练（尤其 Transformer 系）的推荐配置：
优化器 ：AdamW，β 1 = 0.9 \beta_1 = 0.9 β 1 = 0 . 9 β 2 = 0.999 \beta_2 = 0.999 β 2 = 0 . 9 9 9 ϵ = 1 0 − 8 \epsilon = 10^{-8} ϵ = 1 0 − 8 权重衰减 ：λ ∈ [ 0.01 , 0.1 ] \lambda \in [0.01, 0.1] λ ∈ [ 0 . 0 1 , 0 . 1 ] 1 0 − 4 10^{-4} 1 0 − 4 预热（warmup） ：前 T w T_w T w T w T_w T w 余弦退火 ：峰值学习率后余弦衰减到接近 0，配合 warmup 构成完整的"升-降"调度。
大 batch 下梯度噪声小，SGD + Momentum + 线性缩放规则可以与 AdamW 表现相当，同时省去二阶矩的内存开销（对超大模型重要）。实践对比：
batch 256 以下：AdamW 省心，开箱即用。
batch 1024 以上：SGD + Momentum + warmup + cosine 往往更优或相当，且显存占用更低。
当梯度范数过大（如长序列 Transformer、GAN 训练），直接裁剪梯度范数：
g t ← g t ⋅ min ( 1 , c ∥ g t ∥ ) g_t \leftarrow g_t \cdot \min\left( 1, \frac{c}{\|g_t\|} \right)
g t ← g t ⋅ min ( 1 , ∥ g t ∥ c )
裁剪保护 Adam 的矩估计不被少数异常大梯度污染，是稳定训练长程模型的标配。注意裁剪应在动量累积之前 进行，否则异常梯度会通过动量滞后传播。
二阶方法利用 Hessian 信息，更新为 θ t + 1 = θ t − η H − 1 g t \theta_{t+1} = \theta_t - \eta H^{-1} g_t θ t + 1 = θ t − η H − 1 g t H H H O ( d 2 ) O(d^2) O ( d 2 ) O ( d 3 ) O(d^3) O ( d 3 ) d ∼ 1 0 8 d \sim 10^8 d ∼ 1 0 8
一阶方法的信息论下界（Nesterov）：光滑凸问题最优收敛率 O ( 1 / T 2 ) O(1/T^2) O ( 1 / T 2 ) κ \sqrt{\kappa} κ 任何一阶方法都无法超越这个下界 ，这是为什么"更好的优化器"只能从"利用问题结构"（稀疏性、随机性、条件数估计）而非"改进一阶信息的使用"入手。
调度与采样耦合 ：学习率、batch 大小、数据采样顺序联合设计（如 batch 从大到小 + 学习率从小到大）。自适应与 SGD 的融合 ：AdamW 的泛化差距催生了"在 Adam 与 SGD 之间插值"的方法（如 AdaBound、SGDP）。优化器作为超参数 ：小规模任务上搜索优化器与调度，迁移到大模型（训练配方自动化）。
本文的完整推导脉络：
收敛性基础 ：L-光滑与强凸定义梯度下降的线性收敛，条件数 κ \kappa κ SGD ：小批量带来无偏但含噪的梯度，收敛率降至 O ( 1 / T ) O(1/T) O ( 1 / T ) 动量与 NAG ：历史梯度累积把条件数影响从 κ \kappa κ κ \sqrt{\kappa} κ 自适应家族 ：Adagrad 累积平方、RMSProp 滑动平均、Adam 双矩估计加偏差修正，逐参数自适应尺度。AdamW ：权重衰减与自适应归一化解耦，恢复 L2 等价性，成为现代标准。
核心结论：优化器的演进是"修补梯度估计缺陷"的过程 。方向缺陷用动量修，尺度缺陷用自适应修，初始化缺陷用偏差修正修，正则化缺陷用解耦修。理解每个修正在修什么，比记住更新公式更有价值。
[1] Robbins, H., & Monro, S. A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3):400-407, 1951.O ( 1 / k 2 ) O(1/k^2) O ( 1 / k 2 )