凸函數;凸函數的一階條件;二階條件
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLiATN381dsQWZ4lmZf1GLlpXazVmcvwFciV2dsQXYtJ3bm9CX9s2RkBnVHFmb1clWvB3MaVnRtp1XlBXe0xCMy81dvRWYoNHLwEzX5xCMx8FesU2cfdGLwMzX0xiRGZkRGZ0Xy9GbvNGLpZTY1EmMZVDUSFTU4VFRR9Fd4VGdsYTMfVmepNHLrJXYtJXZ0F2dvwVZnFWbp1zczV2YvJHctM3cv1Ce-cmbw5SM3IjN0kTZ1ATYkBTYwQ2NxYzX1AjMwcTMwMzLcBTMxIDMy8CXn9Gbi9CXzV2Zh1WavwVbvNmLvR3YxUjLyM3Lc9CX6MHc0RHaiojIsJye.png)
凸函數定義
\[\forall x_1,x_2 \in D(f), 0\le\theta\le1\\f(\theta\cdot x_1+(1-\theta)\cdot x_2) \le f(\theta\cdot x_1)+ f((1-\theta)\cdot x_2)
\]
同理,凹函數則是\(\ge\)。凸函數和凹函數均為凸集
凸函數有最小值,凹函數有最大值,把凹函數加個負号也就轉換成了凸函數
上述凸函數和凹函數都屬于凸問題,與非凸問題相對
凸函數的一階特征 First Order Condition for Convexity
設\(S \in R^n\)為非空開凸集,\(f\)滿足一階連續可導且為\(S\)上的凸函數,則滿足
\[\forall x,y \in S$,$f(y) \ge f(x)+\nabla f(x)^T(y-x)\]
從圖像上直覺來看
這個函數上的任意一點,函數的值都大于或者等于函數在這點的一階近似(first-order approximation)
證明
凸函數的二階條件
\(f:R^n\rightarrow R\)二階可微,則\(f\)為凸函數 \(\Longleftrightarrow\) \(domf\)為凸集,且\(\nabla f^2(x) \ge 0, \quad \forall x \in {\rm dom}f\)
也就是說二階Hessian是半正定的