最小二乘法（看完即会）

1. 最小二乘法的基本概念

最小二乘法（又称最小平方法）是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳函数匹配。这种方法可以用于求得目标函数的最优值，也可以用于曲线拟合，解决回归问题。利用最小二乘法，可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法的作用主要体现在以下几个方面：

1. 拟合曲线：最小二乘法是解决曲线拟合问题最常用的方法。在已知一组数据点的情况下，可以利用最小二乘法求得一条最能代表这些数据的曲线。
2. 求解未知量：最小二乘法可以用于求解未知量，使得误差值最小。例如，在回归分析中，可以利用最小二乘法求得回归直线的斜率和截距，使得预测值与实际值之间的误差平方和最小。

最小二乘法成立的前提条件是假设系统中无系统误差，误差均为偶然误差，并且假设误差符合正态分布，即整个系统最后的误差均值为零。

2. 最小二乘法的数学公式

最小二乘法的数学公式通常用于线性回归问题，其中目标是找到一条直线（或更高维度的超平面），使得这条直线与给定数据点的误差平方和最小。

对于一元线性回归，假设有n个数据点 (x_i, y_i)，其中i从1到n。我们的目标是找到一条直线 y = ax + b，其中a是斜率，b是截距。最小二乘法的目标是最小化以下误差平方和：

$$S=\sum _{i=1}^n(y_i-(a{x}_i+b){)}^2$$

为了找到使S最小的a和b的值，我们需要对S求关于a和b的偏导数，并令它们等于零。这样可以得到一个线性方程组，解这个方程组就可以找到最优的a和b。

对于多元线性回归，假设有m个自变量x_1, x_2, …, x_m和一个因变量y。我们的目标是找到一个超平面 y = b_0 + b_1x_1 + b_2x_2 + … + b_m*x_m，其中b_0是截距，b_1到b_m是各个自变量的系数。最小二乘法的目标是最小化以下误差平方和：

$$S=i=1$$