梯度下降 Gradient Descent 算法详解，从实例中学习用梯度优化算法求解线性回归模型中的参数

梯度下降法是一个最优化算法，通常也称为最陡下降法。 要使用梯度下降法找到一个函数的局部极小值。在线性回归的模型中，我们的目标就是去寻找最小的损失函数，即最小残差平方来优化模型，便于更能精准的预测。

梯度下降是个迭代的技巧去减少残差平方和。梯度优化就是让计算去尝试所有的不同的函数参数直到最小残差平方被找到。梯度下降的技巧，不仅是对回归方程参数值求解有效，很多模型的优化也用了这个方法。他也是神经网络模型训练最常用的优化算法。只不过通过线性回归这个最简单的模型去学习方便也容易理解，所以这里提出来讲怎样用梯度下降算法找到线性回归的最佳参数。下面图展示如何用梯度下降的方法求解y = a * x，找到损失函数最小的时候的系数a的过程。

如图一，我们想要求解最佳的斜率。图二是不同的斜率时候不同的MSE值，要想使得MSE最小，那肯定是绿色箭头指的点。我们的梯度下降算法就是通过用不一样的步伐（靠近最佳点就采取硬而步，距离最佳点远就采取刘翔跨栏步），找到最低点的过程。他有以下几个步骤：

1）选择一个初始斜率a1

2）计算出MSE