一、梯度下降
梯度下降法是一個最優化算法，通常也稱為最速下降法。最速下降法是求解無限制優化問題最簡單和最古老的方法之一。最速下降法是用負梯度方向為搜尋方向的，最速下降法越接近目标值，步長越小，前進越慢。
可以用于求解非線性方程組。
例子：
求函數f(x)=x2的最小值。
利用梯度下降的方法解題步驟如下：
1、求梯度，
2、向梯度相反的方向移動x，如下
，其中，γ 為步長。如果步長足夠小，則可以保證每一次疊代都在減小，但可能導緻收斂太慢，如果步長太大，則不能保證每一次疊代都減少，也不能保證收斂。
3、循環疊代步驟2，直到x 的值變化到使得f(x) 在兩次疊代之間的內插補點足夠小，比如0.00000001，也就是說，直到兩次疊代計算出來的f(x) 基本沒有變化，則說明此時f(x) 已經達到局部最小值了。
4、此時，輸出x ，這個x 就是使得函數f(x) 最小時的x 的取值 。
梯度下降