这里记录一下刚开始学比较疑惑的一个问题,就是梯度。
推荐一篇文章:https://www.zhihu.com/question/36301367/answer/142096153
Gradient
梯度的来由这里就不细讲了,可以参考上述知乎文章。
首先梯度是一个向量,那么就有方向。梯度的方向就是函数变化最快的方向。
函数变化最快的方向直观理解,就是随着自变量变化函数值变化最快。即:
w_new = w + w_deta,此时函数值可能变大也可能变小,但是变化值不确定,当 w = w+g时,函数值就会增加最快。
