这里记录一下刚开始学比较疑惑的一个问题,就是梯度。

推荐一篇文章:https://www.zhihu.com/question/36301367/answer/142096153

Gradient

梯度的来由这里就不细讲了,可以参考上述知乎文章。

首先梯度是一个向量,那么就有方向。梯度的方向就是函数变化最快的方向。

函数变化最快的方向直观理解,就是随着自变量变化函数值变化最快。即:

w_new = w + w_deta,此时函数值可能变大也可能变小,但是变化值不确定,当 w = w+g时,函数值就会增加最快。