03 SVM - KKT條件

02 SVM - 拉格朗日乘子法

回顧上章，原始問題與對偶問題的關系：

結論：

1、對偶問題小于等于原始問題。

2、當函數滿足KKT條件的時候，對偶問題=原始問題。

這章開始介紹KKT條件。

KKT條件

KKT條件是泛拉格朗日乘子法的一種形式；主要應用在當我們的優化函數存在不等值限制的情況下的一種最優化求解方式；KKT條件即滿足不等式限制情況下的條件。

KKT條件了解

回顧 不等式限制的定義：

1、可行解必須在限制區域g(x)之内，由圖可知可行解x隻能在g(x)<0和g(x)=0的區域取得；

(1) 當可行解x在g(x)<0的區域中的時候，此時直接極小化f(x)即可得到；

(2) 當可行解x在g(x)=0的區域中的時候，此時直接等價于等式限制問題的求解。

2、當可行解在限制内部區域的時候，令β=0即可消去限制。

3、 對于參數β的取值而言，在等值限制中，限制函數和目标函數的梯度隻要滿足平行即可，而在不等式限制中，若β≠0，則說明可行解在限制區域的邊界上，這個時候可行解應該盡可能的靠近無限制情況下的解，是以在限制邊界上，目标函數的負梯度方向應該遠離限制區域朝無限制區域時的解，此時限制函數的梯度方向與目标函數的負梯度方向應相同；進而可以得出β>0。

KKT條件總結

1、拉格朗日取得可行解的充要條件；

2、将不等式限制轉換後的一個限制，稱為松弛互補條件；

3、初始的限制條件；

4、 初始的限制條件；

5.、不等式限制需要滿足的條件；

04 SVM - 感覺器模型