机器学习-参数求解的三种方法

机器学习参数求解最常用的三种方法：最小二乘法，梯度下降法，最速牛顿法。

最小二乘法

用偏差平方和最小的原则拟合曲线，最小二乘法。
$y = a_{0} + a_{1}x + ... + a_{k}x^{k}$
假设多项式为
$y = a_{0} + a_{1}x + ... + a_{k}x^{k}$
求偏差平方和，即各已知点$(x_{i}, y_{i})$到这条曲线的距离之和
$R^{2} = \sum_{n}^{i=1} [y_{i} - (a_{0} + a_{1}x_{1} + ... + a_{k}x_{i}^{k})]^{2}$
我们的目的是$R^{2}$最小，对$a_{i}$求偏导得
$-2 \sum_{n}^{i=1} [y - (a_{0} + a_{1}x_{1} + ... + a_{k}x_{i}^{k})]$