【直观详解】拉格朗日乘法和KKT条件

【阅读时间】8min - 10mun

【内容简介】直观的解读了什么是拉格朗日乘子法，以及如何求解拉格朗日方程，并且给出几个直观的例子，针对不等式约束解读了KKT条件的必要条件和充分条件

1

What & Why

拉格朗日乘法（Lagrange multiplier）是一种在最优化的问题中寻找多元函数在其变量受到一个或多个条件的相等约束时的求局部极值的方法。这种方法可以将一个有 n 个变量和 k 个约束条件的最优化问题转换为一个解有 n+k 个变量的方程组的解的问题

考虑一个最优化问题

2

 How

那么如何求这个极值点呢？

单约束

例子1

设一个具体的例子，我们需要求下列问题

根据几个不同的解带入f(x,y)得到，2，-2，0，也就是我们需要的最大值，最小值，对应的直观图像解释如下图所示（非常直观的展现约束和等高线的含义）

转自：机器学习算法与自然语言处理

完整内容请点击“阅读原文”