凸函数;凸函数的一阶条件;二阶条件
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLiATN381dsQWZ4lmZf1GLlpXazVmcvwFciV2dsQXYtJ3bm9CX9s2RkBnVHFmb1clWvB3MaVnRtp1XlBXe0xCMy81dvRWYoNHLwEzX5xCMx8FesU2cfdGLwMzX0xiRGZkRGZ0Xy9GbvNGLpZTY1EmMZVDUSFTU4VFRR9Fd4VGdsYTMfVmepNHLrJXYtJXZ0F2dvwVZnFWbp1zczV2YvJHctM3cv1Ce-cmbw5SM3IjN0kTZ1ATYkBTYwQ2NxYzX1AjMwcTMwMzLcBTMxIDMy8CXn9Gbi9CXzV2Zh1WavwVbvNmLvR3YxUjLyM3Lc9CX6MHc0RHaiojIsJye.png)
凸函数定义
\[\forall x_1,x_2 \in D(f), 0\le\theta\le1\\f(\theta\cdot x_1+(1-\theta)\cdot x_2) \le f(\theta\cdot x_1)+ f((1-\theta)\cdot x_2)
\]
同理,凹函数则是\(\ge\)。凸函数和凹函数均为凸集
凸函数有最小值,凹函数有最大值,把凹函数加个负号也就转换成了凸函数
上述凸函数和凹函数都属于凸问题,与非凸问题相对
凸函数的一阶特征 First Order Condition for Convexity
设\(S \in R^n\)为非空开凸集,\(f\)满足一阶连续可导且为\(S\)上的凸函数,则满足
\[\forall x,y \in S$,$f(y) \ge f(x)+\nabla f(x)^T(y-x)\]
从图像上直观来看
这个函数上的任意一点,函数的值都大于或者等于函数在这点的一阶近似(first-order approximation)
证明
凸函数的二阶条件
\(f:R^n\rightarrow R\)二阶可微,则\(f\)为凸函数 \(\Longleftrightarrow\) \(domf\)为凸集,且\(\nabla f^2(x) \ge 0, \quad \forall x \in {\rm dom}f\)
也就是说二阶Hessian是半正定的