最小二乘法原理

作者：追风剑情 发布于：2017-6-15 21:33 分类：Algorithms

      最小二乘法，又称最小平方法，是一种通过最小化误差的平方和寻找数据的最佳函数匹配的方法。利用最小二乘法，可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。当然，作为一种插值方法使用时，最小二乘法也可以用于曲线拟合。使用最小二乘法进行曲线拟合是曲线拟合中早期的一种常用方法。不过，最小二乘法理论简单，计算量小。即便在使用三次样条曲线或RBF(Radial Basis Function)进行曲线拟合大行其道的今天，最小二乘法在多项式曲线或直线的拟合问题上，仍然得到广泛的应用。使用最小二乘法，选取的匹配函数的模式非常重要：如果离散数据呈现的是指数变化规律，则应该选择指数形式的匹配函数模式；如果是多项式变化规律，则应该选择多项式匹配模式。如果选择的模式不对，拟合的效果就会很差，这也是使用最小二乘法进行曲线拟合时需要特别注意的一个地方。

下面以多项式模式为例，介绍一下使用最小二乘法进行曲线拟合的完事步骤。假设选择的拟合多项式模式是：

1111.png

离散的各点到这条曲线的平方和2222.png则为：

3333.png

最小二乘法的第一步处理就是对2222.png分别求对ai的偏导数，得到m个等式：

44444.png

这m个等式相当于m个方程，a0,a1,...am是m个未知量，因此这m个方程组成的方程组是可解的，最小二乘法的第二步处理就是将其整理为针对a0,a1,...am的正规方程组。最终整理的方程组如下：

55555.png

最小二乘法的第三步处理就是求解这个多元一次方程组，得到多项式的系数a0,a1,...,am,就可以得到曲线的拟合多项式函数。求解多元一次方程组的方法很多。比如高斯消元法是最常用的一种方法。

标签: Algorithms

« 正态分布 | 保存棋局状态——Zobrist Hash算法»
Powered by emlog  蜀ICP备18021003号-1   sitemap

川公网安备 51019002001593号