在实际的最小值问题中,有时会对变量附加约束条件,例如下面这个问题。
例 当 $x^2+y^2=1$ 时,求 x+y 的最小值。
这种情况下我们使用拉格朗日乘数法。这个方法首先引入参数λ,创建下面的函数L
$$L=f(x,y)-λg(x,y)=(x+y)-λ(x^2+y^2-1)$$
分别对x、y求偏导数,得
$$\frac{δL}{δx}=1-2λx=0,\quad\frac{δL}{δy}=1-2λy=0$$
根据这些式子以及约束条件$x^2+y^2=1$,可得$x=y=λ=±1/\sqrt{2}$。
因而,当$x=y=-1/\sqrt{2}$时,x+y取得最小值$-2/\sqrt{2}$。
在用于求性能良好的神经网络的正则化技术中,经常会使用该方法。