机器学习线性回归（linear regression）/梯度下降法（gradient descent)/最大似然函数/--附python代码

本文为吴恩达《机器学习》课程的读书笔记，并用python实现。

线性回归是一个比较简单的算法，这里主要借线性回归，讲一下梯度下降法和最大似然函数，后面逻辑回归也会用到。
因为不能粘贴公式，所以很多内容直接截屏，不是很美观。

机器学习主要分为两种：
1. 有监督学习（supervised learning）：即常说的分类（classification）和回归（regression），通过训练样本集（包含输入和输出），得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。
监督学习里典型的例子就是KNN、SVM
2. 无监督学习（unsupervised learning）：我们有一些问题，但是不知道答案，我们要做的无监督学习就是按照他们的性质把他们自动地分成很多组，每组的问题是具有类似性质的。
无监督学习里典型的例子就是聚类。
线性回归属于监督学习。
首先我们看下这么一个例子，假设我们有47套房子的面积和价格数据：

我们可以将图画出来：

有了这些数据，我们如何去学习他们，然后根据别的房子的面积来预测价格呢？
首先，让我们做如下定义，方面后面的讨论：

下面更加正式的定义监督学习问题，我们的目标是：给定一个训练集，得到一个从输入映射到输出的函数h，如下图所示。

当