1. 问题定义
非线性优化中的不等式约束问题,定义如下:
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsICM38FdsYkRGZkRG9lcvx2bjxiNx8VZ6l2cs0TUYpVd1kmYr50MZV3YyI2cK1GTwo0MilmSYp1b5kHT20ESjBjUIF2X0hXZ0xCMx81dvRWYoNHLrdEZwZ1Rh5WNXp1bwNjW1ZUba9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnL5cTOwMDMwITM2ITOwkTMwIzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
这里以二维的定义域为例,f(x)是一个凸函数,g(x)=0定义了二维空间中的一个封闭曲线。
2. 最优解位于可行域边界时
首先要确保不等式约束转化为大于等于0的形式。同时,由于边界的g(x)=0,要使得图中大于0的可行域在边界内,如图中所示,g(x)的梯度方向(函数的最快增长方向)是指向内侧。由于我们是要最小化目标函数,那么在这样一个封闭的可行域下,由于目标函数是凸的,那么我们要尽可能的靠近可行域外的最优解(这里的最优解指的是无约束情况下),也就是要朝着目标函数的负梯度方向去走,那么临界的情况就是图中所示的情况。这是因为如果我们没有到达图中所示的位置,那么我们一定还可以朝着目标函数的负梯度方向走一点,使得目标函数更小。临界的位置上,从梯度的角度来看,就是目标函数的负梯度方向朝里与g(x)的梯度方向相反,也即目标函数的梯度方向与g(x)的梯度方向一致。
3. 最优解位于可行域内时
当最优解位于可行域内时其实就类似与无约束的优化问题。只要令f(x)的梯度等于0就可求得最优解。也可以看成是μ=0.
4. 总结
综合上述的两种情况,根据与拉格朗日函数的对应关系,可以得出非线性优化中不等式约束下的KKT条件。