天天看点

SVM为什么要将原问题转换为对偶问题?

  1. SVM 为什么要从原始问题变为对偶问题来求解
  2. 首先是我们有不等式约束方程,这就需要我们写成min max的形式来得到最优解。而这种写成这种形式对x不能求导,这种形式只能对a求导,所以我们需要转换成max min的形式,这时候,x就在里面了,这样就能对x求导了。而为了满足这种对偶变换成立,就需要满足KKT条件(KKT条件是原问题与对偶问题等价的必要条件,当原问题是凸优化问题时,变为充要条件)。
  3. . 对偶问题将原始问题中的约束转为了对偶问题中的等式约束
  4. 方便核函数的引入
  5. 改变了问题的复杂度。由求特征向量w转化为求比例系数a,在原始问题下,求解的复杂度与样本的维度有关,即w的维度。在对偶问题下,只与样本数量有关。