Tiven Wang

Machine Learning - Gradient Descent

Google Earth
Wang Tiven July 27, 2018
425 favorite favorites
bookmark bookmark
share share

梯度下降法 (Gradient descent) 是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。

导数

Derivative

导函数 (Derivative) 定义为

Partial derivative

偏导数 (Partial derivative) 定义为

Directional derivative

方向导数 (Directional derivative) 定义为

梯度

梯度 (Gradient) 的定义如下:

定义描述为 函数在某一点的梯度是这样一个向量,它的方向与取得最大方向导数的方向一致,它的模为方向导数的最大值。 梯度说明了 函数在变量空间的某一点处,沿着哪一个方向有着最大的变化率 梯度属性:

  • 梯度是一个向量,有方向有大小
  • 梯度的方向是最大方向导数的方向
  • 梯度的值的最大方向导数的值

梯度下降法

Momentum optimization

References

Comments

Back to Top