吴恩达机器学习笔记（3）——多变量线性回归（Multivariate Linear Regression）

一、多元线性回归的假设形式

多元线性回归的假设可表示为：

另外，我们定义一个额外的第0个特征向量x0=1，并将特征向量和参数都表示为矩阵形式，则方程变为：

二、多元梯度下降法

多元线性回归的代价函数为：

其中，​x(i)j=​第i个训练样例中第j个特征量的值。

PS：一些实用技巧（通过预处理，让初始的特征量具有同等的地位，才能让机器学习算法更快地学习得到它们的权重θ，这个预处理的过程我们称之为数据标准化（Normalization））：
1、特征缩放（Feature scaling）：
目的：保证特征值都在一个相同的范围内，便于更快的收敛。
做法：首先进行均值归一化（mean normalization），将特征值减去它的平均值，然后除以它的范围。一般的，我们会将特征的取值约束在-1到+1的范围内。

其中，​μi​是原特征量xi的平均值，si取标准差，或max-min
2、学习率α：
如果α太小：收敛会特别慢。
如果α太大：J可能不收敛。
经验：每隔3倍数取值，比如0.001，0.003，0.01，0.03，0.1等。并绘制J随迭代步数变化曲线来判断。然后选择使J快速下降的一个α值。

三、特征和多项式回归

学习使用合适的特征值

四、正规方程（Normal Equation）

1、目的：直接求解出最优的θ值，不同于梯度下降法，该法能直接求解，不需要迭代
2、步骤：
其中，
3、正规方程法不需要特征缩放。特征变量小于10000时适用。
4、对比：

5、矩阵不可逆时的解决办法：首先观察是否有多余特征值，若有，删除；再检查是否有过多的特征，删除；考虑使用正规化方法（regularization）

**

PPS，第一次作业：多变量线性回归里面：千万千万别忘记了把想求的结果值也给特征化！！！！！！！！！

**