SGD优化器Momentum的理解_奇亿娱乐-注册登录绿色站

项目简介

访问网站
访问手机网站

项目服务

提交需求
策划设计
技术开发
维护修改
售后服务

一、介绍

? ? 在深度学习中，Momentum（动量）优化算法是对梯度下降法的一种优化，它在原理上模拟了物理学中的动量，已成为目前非常流行的深度学习优化算法之一。在介绍动量优化算法前，需要对?指数加权平均法?有所了解，它是动量优化算法的理论基础，可参见本人另外一篇博文：深度学习：指数加权平均。

物理学中动量的定义：?设物体的质量为? $m$ ，速度为? $v$ ，则动量? $p=mv$ 。Momentum算法模拟了动量，但是其核心公式和动量一点关系都没有。

二、背景

? ? 下图表明了传统的梯度下降法会存在的问题，即训练轨迹会呈现锯齿状，这无疑会大大延长训练时间。同时，由于存在摆动现象，学习率只能设置的较小，才不会因为步伐太大而偏离最小值。

出现锯齿状的原因是：?

1、每一轮迭代使用的训练数据一般是小批量的，没有使用全部的训练数据，因此更新方向会发生锯齿状甚至随机震荡状；

2、某些梯度分量的值比另外一些分量的值要大的多，导致个别分量主导了梯度的更新方向，而期望的梯度更新方向却行进的非常缓慢，这正是Momentum算法要解决的问题。

三、优化思路

? ? ?一个很朴素的想法便是让纵向的摆动尽量小，同时保持横向的运动方向比较平稳。为此，需要知道梯度在过去的一段时间内的大致走向，以消除当前轮迭代梯度向量存在的方向抖动。

? ? 设第 $t$ ?轮迭代的梯度向量为? $extit{ extbf{w}}^t=\left [ w^t_1,w^t_2,w^t_3 \right ]^T$ ，可以简单的通过对每个分量的历史取值进行加和来实现该目的，并将 $extit{ extbf{w}}^{t}_{ave}$ ?作为新的梯度更新方向。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $\begin{bmatrix} w^1_1 & +\ w^2_1 & ... & +\ w^t_1\\ w^1_2 & +\ w^2_2 & ... & +\ w^t_2\\ w^1_3 & +\ w^2_3 & ... & +\ w^t_3 \end{bmatrix}=\begin{bmatrix} \sum_{i=0}^{t-1}w^i_1\\ \sum_{i=0}^{t-1}w^i_2\\ \sum_{i=0}^{t-1}w^i_3 \end{bmatrix}= extit{ extbf{w}}^{t}_{ave}$

? ? 这种方法很简单，但每一轮梯度的计算权重相同，这会存在几点问题：

1、较早的梯度对梯度的大致走向预测几乎失去了作用；

2、较早的梯度抖动的较为严重，最近的梯度抖动要弱一些，如果权重都相同，梯度的大致走向预测可能不精确；

3、在梯度下降的后期，参数的搜索空间基本上处于一个凸集上，梯度的每个分量的大小和方向基本固定，不断的将大小和方向基本固定的分量做累加，梯度会变得非常大，造成无法收敛到局部最优。

? ? 这个时候指数加权平均开始派上用场了。将上式的加和平均变成指数移动加权平均，并加入衰减率? $\beta\in (0,1)$ ，并将? $\dpi{120} v_{ extit{ extbf{w}}}^{'}$ ?作为梯度的更新方向。这样较早的梯度权重几乎为 0，最近的梯度权重接近1。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $\begin{bmatrix} \beta ^{t-1}w^1_1 & +\ \beta^{t-2} w^2_1 & ... & +\ \beta^0w^t_1\\ \beta ^{t-1}w^1_2 & +\ \beta ^{t-2}w^2_2 & ... & +\ \beta^0w^t_2\\ \beta ^{t-1}w^1_3 & +\ \beta ^{t-2}w^2_3 & ... & +\ \beta^0w^t_3 \end{bmatrix}=\begin{bmatrix} \sum_{i=0}^{t-1}\beta ^iw^i_1\\ \sum_{i=0}^{t-1}\beta ^iw^i_2\\ \sum_{i=0}^{t-1}\beta ^iw^i_3 \end{bmatrix}=v_ extit{ extbf{w}}^{'}$

? ? ?通过指数加权平均，纵向的分量基本可以抵消，原因是锯齿状存在一上一下的配对向量，方向基本反向。因为从长期的一段时间来看，梯度优化的大方向始终指向最小值，因此，横向的更新方向基本稳定。新的梯度更新的轨迹如下图所示。

四、基于Momentum的梯度更新

? ? ?基本的梯度更新规则如下，其中? $\eta$ ?表示学习率。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $w\rightarrow w^{'}=w-\eta\frac{\partial C}{\partial w}$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $b\rightarrow b^{'}=b-\eta\frac{\partial C}{\partial b}$

? ? ?根据上述分析，引入指数加权平均后，? $v_{ extit{ extbf{w}}}$ ?的更新规则为：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $v_w\rightarrow v^{'}_w=\beta v_w + \frac{\partial C}{\partial w}$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $v_b\rightarrow v^{'}_b=\beta v_b + \frac{\partial C}{\partial b}$

? ? ?新的梯度更新规则变为

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $\dpi{120} w\rightarrow w^{'}=w- \eta v_w$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $b\rightarrow b^{'}=b - \eta v_b$

? ? ?关于摩擦系数? $\beta$ ：

1、为 0 时，退化为未优化前的梯度更新；

2、为 1 时，表示完全没有摩擦，如前所述，这样会存在大的问题；

3、取 0.9 是一个较好的选择。可能是 0.9 的 60 次方约等于 0.001，相当仅考虑最近的60轮迭代所产生的的梯度，这个数值看起来相对适中合理。

? ? ?注：两个方向大致一致的向量? $v_1$ ?和 $v_2$ ?相加，其相加后的向量 $v_3$ ?的方向介于两个向量之间，但范数要大于任何其中一个向量的范数。

五、Momentum算法的本质

? ? 该算法将一段时间内的梯度向量进行了加权平均，分别计算得到梯度更新过程中? $w$ ?和? $b$ ?的大致走向，一定程度上消除了更新过程中的不确定性因素（如摆动现象），使得梯度更新朝着一个越来越明确的方向前进。

抖音广告投放需要什么资质？抖音广告怎么推广产品？

新加坡留学找房这样选！近SIM、宏茂桥、博伟、女皇镇好房来袭~