拉格朗日乘数法

作者：追风剑情发布于：2022-5-9 10:06 分类：Algorithms

在实际的最小值问题中，有时会对变量附加约束条件，例如下面这个问题。

例当 $x^{2} + y^{2} = 1$ 时，求 x+y 的最小值。

这种情况下我们使用拉格朗日乘数法。这个方法首先引入参数λ，创建下面的函数L $L = f (x, y) - λ g (x, y) = (x + y) - λ (x^{2} + y^{2} - 1)$ 分别对x、y求偏导数，得 $\frac{δ L}{δ x} = 1 - 2 λ x = 0, \frac{δ L}{δ y} = 1 - 2 λ y = 0$ 根据这些式子以及约束条件 $x^{2} + y^{2} = 1$ ，可得 $x = y = λ = \pm 1 / \sqrt{2}$ 。
因而，当 $x = y = - 1 / \sqrt{2}$ 时，x+y取得最小值 $- 2 / \sqrt{2}$ 。
在用于求性能良好的神经网络的正则化技术中，经常会使用该方法。