天天看点

图解非线性优化中不等式约束下的KKT条件1. 问题定义2. 最优解位于可行域边界时3. 最优解位于可行域内时4. 总结

1. 问题定义

非线性优化中的不等式约束问题,定义如下:

图解非线性优化中不等式约束下的KKT条件1. 问题定义2. 最优解位于可行域边界时3. 最优解位于可行域内时4. 总结

这里以二维的定义域为例,f(x)是一个凸函数,g(x)=0定义了二维空间中的一个封闭曲线。

2. 最优解位于可行域边界时

图解非线性优化中不等式约束下的KKT条件1. 问题定义2. 最优解位于可行域边界时3. 最优解位于可行域内时4. 总结

首先要确保不等式约束转化为大于等于0的形式。同时,由于边界的g(x)=0,要使得图中大于0的可行域在边界内,如图中所示,g(x)的梯度方向(函数的最快增长方向)是指向内侧。由于我们是要最小化目标函数,那么在这样一个封闭的可行域下,由于目标函数是凸的,那么我们要尽可能的靠近可行域外的最优解(这里的最优解指的是无约束情况下),也就是要朝着目标函数的负梯度方向去走,那么临界的情况就是图中所示的情况。这是因为如果我们没有到达图中所示的位置,那么我们一定还可以朝着目标函数的负梯度方向走一点,使得目标函数更小。临界的位置上,从梯度的角度来看,就是目标函数的负梯度方向朝里与g(x)的梯度方向相反,也即目标函数的梯度方向与g(x)的梯度方向一致。

3. 最优解位于可行域内时

图解非线性优化中不等式约束下的KKT条件1. 问题定义2. 最优解位于可行域边界时3. 最优解位于可行域内时4. 总结

当最优解位于可行域内时其实就类似与无约束的优化问题。只要令f(x)的梯度等于0就可求得最优解。也可以看成是μ=0.

4. 总结

图解非线性优化中不等式约束下的KKT条件1. 问题定义2. 最优解位于可行域边界时3. 最优解位于可行域内时4. 总结

综合上述的两种情况,根据与拉格朗日函数的对应关系,可以得出非线性优化中不等式约束下的KKT条件。

继续阅读