边际概率的信息矩阵

【符号约定】
随机变量$\mathrm{X}=[{\mathrm{X}}_m^T,{\mathrm{X}}_r^T{]}^T$；
下标$m,r$：分别表示margin, reserve；
$\Sigma ,\Lambda$：分别表示协方差矩阵、信息矩阵；
$p(\mathrm{X})=p({\mathrm{X}}_m,{\mathrm{X}}_r)$，表示联合概率；
$p({\mathrm{X}}_r)=\int p({\mathrm{X}}_m,{\mathrm{X}}_r)d{\mathrm{X}}_m$，表示边际概率。

假设随机变量服从零均值高斯分布。

已知联合概率$p(\mathrm{X})=p({\mathrm{X}}_m,{\mathrm{X}}_r)$对应的信息矩阵$\Lambda$，求边际概率$p({\mathrm{X}}_r)$对应的信息矩阵${\Lambda }_r^{\prime }$。

解：首先，$\Lambda$按变量的维数分块：
$$\Lambda =\left[\begin{array}{cc}{\Lambda }_{mm}& {\Lambda }_{mr}\\ {\Lambda }_{rm}& {\Lambda }_{rr}\end{array}\right]$$

我们知道把$p(\mathrm{X})$对应的信息矩阵求逆，将得到$p(\mathrm{X})$对应的协方差矩阵（反之亦然）：
$${\Lambda }^{-1}=\left[\begin{array}{cc}{\Sigma }_{mm}& {\Sigma }_{mr}\\ {\Sigma }_{rm}& {\Sigma }_{rr}\end{array}\right]=\Sigma \text{\hspace{1em}(1)}$$

式中，${\Sigma }_{rr}$即为边际概率$p({\mathrm{X}}_r)$对应的协方差矩阵。【从高斯联合概率分布中，显然可得】

此时，我们把该${\Sigma }_{rr}$求逆，将得到边际概率$p({\mathrm{X}}_r)$对应的信息矩阵${\Lambda }_r^{\prime }$，即为所求！
$${\Lambda }_r^{\prime }={\Sigma }_{rr}^{-1}$$

不难发现使用这种思路，我们求了两次逆。下面使用一些技巧：
对于公式（1），做一些变形构造${\Sigma }_{rr}^{-1}$：
$$\Lambda =\left[\begin{array}{cc}{\Lambda }_{mm}& {\Lambda }_{mr}\\ {\Lambda }_{rm}& {\Lambda }_{rr}\end{array}\right]={\left[\begin{array}{cc}{\Sigma }_{mm}& {\Sigma }_{mr}\\ {\Sigma }_{rm}& {\Sigma }_{rr}\end{array}\right]}^{-1}\text{\hspace{1em}(2)}$$

开始变形之前，给出两个公式（可以展开验证一下），
第一个：
$$\left[\begin{array}{cc}{\Sigma }_{mm}& {\Sigma }_{mr}\\ {\Sigma }_{rm}& {\Sigma }_{rr}\end{array}\right]=\left[\begin{array}{cc}I& {\Sigma }_{mr}{\Sigma }_{rr}^{-1}\\ 0& I\end{array}\right]\left[\begin{array}{cc}{\Sigma }_{mm}-{\Sigma }_{mr}{\Sigma }_{rr}^{-1}{\Sigma }_{rm}& 0\\ 0& {\Sigma }_{rr}\end{array}\right]\left[\begin{array}{cc}I& 0\\ {\Sigma }_{rr}^{-1}{\Sigma }_{rm}& I\end{array}\right]$$

我们定义${\Delta }_{{\Sigma }_{rr}}\triangleq {\Sigma }_{mm}-{\Sigma }_{mr}{\Sigma }_{rr}^{-1}{\Sigma }_{rm}$为${\Sigma }_{rr}$关于$\Sigma$的舒尔补。
第二个（求上式的逆）：
$$\begin{array}{rl}{\left[\begin{array}{cc}{\Sigma }_{mm}& {\Sigma }_{mr}\\ {\Sigma }_{rm}& {\Sigma }_{rr}\end{array}\right]}^{-1}& =\left[\begin{array}{cc}I& 0\\ -{\Sigma }_{rr}^{-1}{\Sigma }_{rm}& I\end{array}\right]\left[\begin{array}{cc}{\Delta }_{{\Sigma }_{rr}}^{-1}& 0\\ 0& {\Sigma }_{rr}^{-1}\end{array}\right]\left[\begin{array}{cc}I& -{\Sigma }_{mr}{\Sigma }_{rr}^{-1}\\ 0& I\end{array}\right]\\ & =\left[\begin{array}{cc}{\Delta }_{{\Sigma }_{rr}}^{-1}& -{\Delta }_{{\Sigma }_{rr}}^{-1}{\Sigma }_{mr}{\Sigma }_{rr}^{-1}\\ -{\Sigma }_{rr}^{-1}{\Sigma }_{rm}{\Delta }_{{\Sigma }_{rr}}^{-1}& {\Sigma }_{rr}^{-1}+{\Sigma }_{rr}^{-1}{\Sigma }_{rm}{\Delta }_{{\Sigma }_{rr}}^{-1}{\Sigma }_{mr}{\Sigma }_{rr}^{-1}\end{array}\right]\end{array}$$

将上式展开，代入公式（2），得：
$$\begin{array}{rl}\left[\begin{array}{cc}{\Lambda }_{mm}& {\Lambda }_{mr}\\ {\Lambda }_{rm}& {\Lambda }_{rr}\end{array}\right]& =\left[\begin{array}{cc}{\Delta }_{{\Sigma }_{rr}}^{-1}& -{\Delta }_{{\Sigma }_{rr}}^{-1}{\Sigma }_{mr}{\Sigma }_{rr}^{-1}\\ -{\Sigma }_{rr}^{-1}{\Sigma }_{rm}{\Delta }_{{\Sigma }_{rr}}^{-1}& {\Sigma }_{rr}^{-1}+{\Sigma }_{rr}^{-1}{\Sigma }_{rm}{\Delta }_{{\Sigma }_{rr}}^{-1}{\Sigma }_{mr}{\Sigma }_{rr}^{-1}\end{array}\right]\end{array}$$

对应元素相等，发现：
$${\Sigma }_{rr}^{-1}={\Lambda }_{rr}-{\Lambda }_{rm}{\Lambda }_{mm}^{-1}{\Lambda }_{mr}$$

即为所求。
对比第一种思路，发现求逆的次数少了，且求逆的规模小了！

【应用】
设$k$时刻的最小二乘优化之后，现将状态中的${\mathrm{X}}_m$marg掉：
$$\begin{array}{rl}\Lambda \mathrm{X}& =-b\\ \left[\begin{array}{cc}{\Lambda }_{mm}& {\Lambda }_{mr}\\ {\Lambda }_{rm}& {\Lambda }_{rr}\end{array}\right]\left[\begin{array}{c}{\mathrm{X}}_m\\ {\mathrm{X}}_r\end{array}\right]& =-\left[\begin{array}{c}{b}_m\\ b_r\end{array}\right]\end{array}$$

marg后，变量${\mathrm{X}}_m$的测量信息传递给了变量${\mathrm{X}}_r$，并构成${\mathrm{X}}_r$的先验信息：
$$\begin{array}{rl}\left[\begin{array}{cc}I& 0\\ -{\Lambda }_{rm}{\Lambda }_{mm}^{-1}& I\end{array}\right]\left[\begin{array}{cc}{\Lambda }_{mm}& {\Lambda }_{mr}\\ {\Lambda }_{rm}& {\Lambda }_{rr}\end{array}\right]\left[\begin{array}{c}{\mathrm{X}}_m\\ {\mathrm{X}}_r\end{array}\right]& =-\left[\begin{array}{cc}I& 0\\ -{\Lambda }_{rm}{\Lambda }_{mm}^{-1}& I\end{array}\right]\left[\begin{array}{c}{b}_m\\ b_r\end{array}\right]\\ \left[\begin{array}{cc}{\Lambda }_{mm}& {\Lambda }_{mr}\\ 0& {\Lambda }_{rr}-{\Lambda }_{rm}{\Lambda }_{mm}^{-1}{\Lambda }_{mr}\end{array}\right]\left[\begin{array}{c}{\mathrm{X}}_m\\ {\mathrm{X}}_r\end{array}\right]& =-\left[\begin{array}{c}{b}_m\\ b_r-{\Lambda }_{rm}{\Lambda }_{mm}^{-1}{b}_m\end{array}\right]\end{array}$$

只取第二行：${\Lambda }_r^{\prime }{\mathrm{X}}_r=-b_r^{\prime }$

设$k^{\prime }$时刻，加入了新的状态${\mathrm{X}}_{new}$及对应的观测，开始新一轮的最小二乘优化：
$$\begin{array}{rl}b(k^{\prime })& ={\Pi }^T{b}_r^{\prime }(k)+{\Sigma }_{(i,j\in \mathcal{S})}{J}_{ij}^T(k^{\prime }){\Sigma }_{ij}^{-1}{r}_{ij}(k^{\prime })\\ \Lambda (k^{\prime })& ={\Pi }^T{\Lambda }_r^{\prime }(k)\Pi +{\Sigma }_{(i,j\in \mathcal{S})}{J}_{ij}^T(k^{\prime }){\Sigma }_{ij}^{-1}{J}_{ij}(k^{\prime })\end{array}$$

新残差加上之前marg留下的信息，构成新的最小二乘系统。