Lagrange 乘数法

Lagrange 乘数法是数学分析中常用的求条件极值的方法。该方法实际上是给我们提供了这样的思路，求解低维空间中函数的条件极值，可以归结为求更高维函数的极值，如果连续可微函数的条件极值存在，那么必然满足某个 Lagrange 乘数等式，这个事实是条件极值存在的必要条件，而非充分条件。

条件极值

求条件极值的问题可以使用 Lagrange 乘数法解决，它是基于如下定理：

假设$f({\boldsymbol {x}}):U\subset \mathbb {R} ^{d}\to \mathbb {R} ,g({\boldsymbol {x}}):U\to \mathbb {R} ^{s}$，那么如果存在${\boldsymbol {x_{0}}}\in U$满足

$$f({\boldsymbol {x_{0}}})=\inf\{f({\boldsymbol {x}})|g({\boldsymbol {x}})=0\}$$

则存在$\boldsymbol{\lambda} \in \R^s$满足${\boldsymbol {(x_{0},\lambda _{0})}}$是如下函数

$$L(\boldsymbol{x}, \boldsymbol{\lambda}) = f(\boldsymbol{x}) + \boldsymbol{\lambda} \cdot \boldsymbol{g_0 (x)}, \forall (\boldsymbol{x, \lambda}) \in \R^{d+s}$$

的临界点（即导数为零的点）。

因此连续可微函数$f(\boldsymbol{x}), \boldsymbol{x} \in \R^d$在连续可微的限制$\boldsymbol{g(x)} = \boldsymbol{0}$下的条件极值可以归结为求函数

$$L(\boldsymbol{x}, \boldsymbol{\lambda}) = f(\boldsymbol{x}) + \boldsymbol{\lambda} \cdot \boldsymbol{g_0 (x)}, \forall (\boldsymbol{x, \lambda}) \in \R^{d+s}$$

的极值，其中，$s$是限制条件$\boldsymbol{g(x)} = \boldsymbol{0}$的维数，即条件$\boldsymbol{g(x)} = \boldsymbol{0}$的极大线性无关组的个数，$\boldsymbol{g_0(x)}$是$\boldsymbol{g(x)}$的一个极大线性无关组（这里涉及到函数相关性的内容，通俗地讲，限制条件之间“不能互推”，也不能“导出矛盾”，前者会使过程复杂化，后者会导致条件限制下函数定义域为空集）。

Lagrange 函数

这里定义的 Lagrange 函数$L(\boldsymbol{x, \lambda})$是一个$d+s$元函数，定义域是$\R^{d+s}$，向量$\boldsymbol{\lambda} \in \R^s$，且定义中$\boldsymbol{\lambda} \cdot \boldsymbol{g_0 (x)}$是向量的点乘（特别地，当限制条件只有一个时，这就是普通的数之间的乘法）。

该方法是说原函数的条件极值$f(\boldsymbol{x})$就是函数$L(\boldsymbol{x, \lambda})$的极值，该方法实际上是给我们提供了这样的思路，求解低维空间中函数的条件极值，可以归结为求更高维函数的极值，这实际上是一个微分流形问题（$C^{2}$流形$M=\{{\boldsymbol {x}}\in \mathbb {R} ^{d},{\boldsymbol {g(x)}}={\boldsymbol {0}}\}$在条件极值点${\boldsymbol {x_{0}}}\in M$处的切空间$T_{\boldsymbol {x_{0}}}M$就是映射${\boldsymbol {g'(x_{0})}}$的零空间，参见/Banach 空间#引理2）。

隐函数的极值

可以使用 Lagrange 乘数法对一个方程（组）确定的隐函数求极值，例如由方程$F(x, y, z) = 0$确定的隐函数$z = f(x, y)$的极值问题可以转化为辅助函数$L(x, y, z, \lambda) = z + \lambda F(x, y, z)$的极值问题。

对于方程组的情形，例如由$\begin{cases} F(x, y, r, \theta) = 0 \\ G(x, y, r, \theta) = 0 \end{cases}$确定的二元隐函数$r = r(x, y)$的极值问题可以转化为求辅助函数$L(x, y, r, \theta, \alpha, \beta) = r + \alpha F(x, y, r, \theta) + \beta G(x, y, r, \theta)$的极值问题。

当然，有时也可通过直接求一阶偏导数（隐函数定理），由其梯度为零求得驻点，然后考虑二阶偏导数的矩阵正负定情况得出极值点。一般在函数形式比较整齐（变元的对称度高）的时候采用 Lagrange 乘数法。

参考资料

1. 欧阳光中, 朱学炎, 金福临, 陈传璋, 《数学分析》, 高等教育出版社, 北京, 2018-08, ISBN 978-7-0404-9718-2.