深度學習——最優化的學習筆記

1 前言

感謝蔡超老師的講授，給予了我很大的啟發～

2 數值分析方法求解最優化——“數學上最優美的求解方法”

2.1 最初認識數值分析求解最優化的分類器——SVM

SVM是我最初學習的分類器之一，SVM線性分類器求解過程的推導還是十分優美的～

使用了拉格朗日乘子法；

（具體的推導過程可以參考蔡超老師講授的PPT）

2.2 為什麼神經網絡不适合用數值分析法求解呢？

這是因為在數值分析法求解的過程中，需要計算矩陣或者張量

運算，

在進行這個運算時，會涉及到所有的樣本值，而在目标檢測中，輸入圖像一般都是高維張量，

我們幾乎是不可能将所有樣本同時輸入記憶體進行計算的，現有的硬體無法滿足這樣的要求；

于是，為了解決這個問題，我們采用了另一種巧妙的pratical的政策——随機梯度下降法（SGD）；