【线性代数公开课MIT Linear Algebra】 第十五课 Ax=b与投影矩阵

本系列笔记为方便日后自己查阅而写，更多的是个人见解，也算一种学习的复习与总结，望善始善终吧~
老师说要让这一节课 immortal 名垂青史，不过明显这节课依然还是前菜。

从投影说起

投影？what？
就是我们初中学的如何将一条线段投影到另一条线段上啦~
那…怎么突然讲这个？
故事还要从$Ax=b$无解的时候说起，当其无解的时候，我们求的解是什么？

我们想要的是“最优解”，即这个解对于原方程偏差error 最小，我们知道$Ax=b$有解时$b$在$A$的column space当中，当我们取b在column space中的投影$\hat b$时，求解$Ax=\hat b$此时的解的error最小。(猜测$\hat b$与$b$的距离最小，不过不知道如何定义距离)

投影矩阵

二维上的投影

既然问题的关键在于投影，那么我们先从简单的开始

$向量b投影到a上，p是其投影，e就是b到a的距离，就是偏差error$
$a\perp e=a\perp (b-xa)$
$\Rightarrow a^T(b-xa)=0$
$\Rightarrow a^Tb=xa^Ta$