1.首先复习传统的Gradient Descent的过程：

下面介绍Adagrad方法：

下面这张ppt表明，分子上的梯度越大，更新幅度就越大，但是Adagrad的分母上梯度之和越大，反而更新幅度越小。

其实Adagrad可体现出不同时刻梯度的变化情况（反差），比如某个梯度一直很小，突然某个时刻变得很大，那么此时这个比较大的梯度就在梯度和中比较突出。

接下来老师举了一个二次项函数求最值的过程，可知在x0处，最优的梯度步长为 [公式] ，其中2ax0+b是一次导数，分母2a则是二次导数。则可猜想最优的步长是一次导数除以二次导数。

如下图，a点的一次微分和二次微分都比较小，b点的一次微分和二次微分都比较大，那么其实是不好确定a点与b点哪个点更新梯度的幅度更大，因为需要拿一次微分除以二次微分。

而Adagrad更新公式的分母用之前所有一次项梯度的均方根来替代二次项梯度：

假设现在的问题是 [公式] ,特征x1和x2的量级是不同的，那么此时如果参数w2有一个小的改动，y值就会有很大的变动，所以w2的更新幅度都很大。

相关文章：

本文转载自Alex-zhai知乎账号。

原文链接：https://zhuanlan.zhihu.com/p/78254440

李宏毅学习视频笔记：Gradient Descent