约束优化问题的一阶条件（KKT条件）、互补松弛条件、拉格朗日对偶问题、SVM

简要概述

考虑约束优化问题时，可将等式拆解转化为不等式，方便求解，一阶时为KKT条件

KKT条件应用在SVM中

详细

——————

链接：

https://zhuanlan.zhihu.com/p/54135029?utm_source=qq&utm_medium=social&utm_oi=910237641331593216

简单解释：

——————

链接：

https://www.bilibili.com/video/BV1Tt4y127U1?spm_id_from=333.999.0.0&vd_source=fb42373bb401a9434d790d1cb2de2fd8

KKT条件中的互补松弛条件，乘子和约束式谁取0？

(1)如果最优解x使某个或某些不等式约束达到0，则意味着x位于这个或这些约束的边界，这样的约束称为active constraint。目标函数的梯度可以被所有active constraint的梯度线性表示，系数就是拉格朗日乘子，显然这些拉格朗日乘子非零。

(2)如果最优解x无法使某个或某些不等式约束达到0，则意味着x位于这个或这些约束的内部区域，这样的约束事实上不起作用，称为inactive constraint, 因此可以直接“扔掉”。用数学上的黑话来说，扔掉一个约束的方式就是该约束前的拉格朗日乘子取0。上述两种情况，都符合互补松弛条件。若二者同时达到0，则会出现active constraint被扔掉从而不work的逻辑悖论。

因此，实际中若最优解x使g(x)＝0，则对应的拉格朗日乘子μ不为0；若最优解x使g(x)＜0，则说明该约束不起作用，其对应拉格朗日乘子μ＝0。

————————

作者：Qing Liu

https://www.zhihu.com/question/456421829/answer/1859721800

详细证明：

——————

链接：

https://zhuanlan.zhihu.com/p/367820569