最速下降法與梯度下降法基本上是相同的，就是選擇該點梯度的反向方向進行搜尋。
梯度下降法中并沒有規定步長一定是多少，往往開始人為規定一個步長，然後根據實際情況逐漸縮小步長。
而最速下降法的步長則是在求出梯度方向後，把步長變量
帶入式中，通過求取函數f(
)的最小值以擷取在該點步長
的最佳值。
下面給出一個 最速下降法的一個例題：
最速下降法與梯度下降法基本上是相同的，就是選擇該點梯度的反向方向進行搜尋。
梯度下降法中并沒有規定步長一定是多少，往往開始人為規定一個步長，然後根據實際情況逐漸縮小步長。
而最速下降法的步長則是在求出梯度方向後，把步長變量
帶入式中，通過求取函數f(
)的最小值以擷取在該點步長
的最佳值。
下面給出一個 最速下降法的一個例題：