鸟语天空
拉格朗日乘数法
post by:追风剑情 2022-5-9 10:06

在实际的最小值问题中,有时会对变量附加约束条件,例如下面这个问题。

当 $x^2+y^2=1$ 时,求 x+y 的最小值。

这种情况下我们使用拉格朗日乘数法。这个方法首先引入参数λ,创建下面的函数L $$L=f(x,y)-λg(x,y)=(x+y)-λ(x^2+y^2-1)$$ 分别对x、y求偏导数,得 $$\frac{δL}{δx}=1-2λx=0,\quad\frac{δL}{δy}=1-2λy=0$$ 根据这些式子以及约束条件$x^2+y^2=1$,可得$x=y=λ=±1/\sqrt{2}$。
因而,当$x=y=-1/\sqrt{2}$时,x+y取得最小值$-2/\sqrt{2}$。
在用于求性能良好的神经网络的正则化技术中,经常会使用该方法。

评论:
发表评论:
昵称

邮件地址 (选填)

个人主页 (选填)

内容