信息论基础——熵

信息论基础——熵

一 、Jensen不等式
定理1 设$f$ 为区间$I$ 上的凹函数，$p_i\in [0,1],i=1,2,\cdots ,n$,且${\sum }_{i=1}^n{p}_i=1$，则对任何$x_i\in I$，有$$f\left(\sum _{i=1}^n{p}_i{x}_i\right)⩾\sum _{i=1}^n{p}_{i}f\left(x_i\right)$$

若 $f$ 严格凹，上式的等号只有在下列条件满足时才成立：若$p_i\cdot p_j̸=0$，则必有$x_i=x_j$
证明：略
对于对数函数$f(x)=\log x$在区间$(0,+\infty )$是凹函数，有$\log \left({\sum }_{i=1}^n{p}_i{x}_i\right)⩾{\sum }_{i=1}^n{p}_i\log x_i$，$\forall i,x_i>0,p_i⩾0$，且${\sum }_{i=1}^n{p}_i=1$。

二、熵
一个离散随机变量$X$的熵$H(X)$的定义为$$H(X)=\sum _{X}P(X)\log \frac{1}{P(X)}=-\sum _{X}P(X)\log P(X)$$ $\log P(X)$以为$2$底，熵的单位是比特，以$e$为底，熵的单位是奈特
熵是对随机变量的不确定性的度量。随机变量$X$的熵越大，说明它的不确定性越大。
熵的基本性质
$(1)$ $H(X)⩾0$
$(2)$ $H(X)⩽\log |X|$,等号成立当且仅当对$X$的所有取值$x$有$P(X=x)=\frac{1}{|X|}$

证明：$(1)$ 对$X$的任意取值$x$，总有$-P(X=x)\log P(X=x)⩾0$
$(2)$ $$\begin{array}{rl}H(X)& =\sum _{x}P(X)\log \frac{1}{P(X)}\\ & ⩽\log \sum _{X}P(X)\frac{1}{P(X)}=\log |X|\end{array}$$命题得证，此性质经常被称为最大熵原理

三、联合熵、条件熵和互信息
联合熵：两个离散随机变量$X$和$Y$的联合熵的定义为
$$H(X,Y)=\sum _{X,Y}P(X,Y)\log \frac{1}{P(X,Y)}=-\sum _{X,Y}P(X,Y)\log P(X,Y)$$
条件熵：给定$Y=x$时$X$的条件熵为
$$H(X|Y=y)=\sum _{X}P(X|Y=y)\log \frac{1}{P(X|Y=y)}$$
条件熵$H(X|Y=y)$度量的是已$Y=y$知后，$X$的不确定性
由于知道$Y$的概率分布，因此可以计算观测$Y$后$X$的熵的期望值，即
$$\begin{array}{rl}H(X|Y)& =\sum _{y\in {\Omega }_Y}P(Y=y)H(X|Y=y)\\ & =\sum _{y\in {\Omega }_Y}P(Y=y)\sum _{X}P(X|Y=y)\log \frac{1}{P(X|Y=y)}\\ & =\sum _Y\sum _{X}P(Y)P(X|Y)\log \frac{1}{P(X|Y)}\\ & =\sum _{X,Y}P(X,Y)\log \frac{1}{P(X|Y)}\end{array}$$$H(X|Y)$称为给定$Y$时$X$的条件熵
注意：$H(X|Y)$与$H(X|Y=y)$有所不同，后者是在已知$Y$取某一特定值$y$时$X$的条件熵，是在已知$Y=y$后，$X$剩余的不确定性。而$H(X|Y)$则是在未知$Y$的取值时，对观测到$Y$的取值后$X$剩余的不确定性的一个期望。
例: 设联合分布$P(X,Y)$及边缘分布$P(X)$和$P(Y)$如下：

从而得$$\begin{array}{l}H(X)=-\frac{1}{8}\log \frac{1}{8}-\frac{7}{8}\log \frac{7}{8}=0.544\\ H\left(X|Y=y_1\right)=-0\log 0-1\log 1=0\\ H\left(X|Y=y_2\right)=-\frac{1}{2}\log \frac{1}{2}-\frac{1}{2}\log \frac{1}{2}=1\\ H(X|Y)=\frac{3}{4}H\left(X|Y=y_1\right)+\frac{1}{4}H\left(X|Y=y_2\right)=0.25\end{array}$$
在观测到$Y$前，$X$ 的不确定性是$H(X)$，通过观测$Y$，我们的期望$X$的不确定性会变为$H(X|Y)$,因此$H(X)$与$H(X|Y)$之差$I(X;Y)=H(X)-H(X|Y)$就是对$Y$包含多少关于$X$的信息的一个度量，称之为$Y$关于$X$的信息，下面可以看到$I(X;Y)=I(Y;X)$，因此它又称为和之间的互信息
定理2 对任意两个离散随机变量$X$和$Y$，有$$\begin{array}{l}I(X;Y)={\sum }_{X,Y}P(X,Y)\log \frac{P(X,Y)}{P(X)P(Y)}(a)\\ I(X;Y)=I(Y;X)(b)\\ H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)(c)\\ I(X;Y)+H(X,Y)=H(X)+H(Y)(e)\end{array}$$其中式$(c)$称为熵的链规则
证明：$(1)$对式$(a)$ ，$$\begin{array}{l}I(X;Y)=H(X)-H(X|Y)\\ ={\sum }_{X}P(X)\log \frac{1}{P(X)}-{\sum }_{X,Y}P(X,Y)\log \frac{1}{P(X|Y)}\\ ={\sum }_{X,Y}P(X,Y)\log \frac{1}{P(X)}-{\sum }_{X,Y}P(X,Y)\log \frac{1}{P(X|Y)}\\ ={\sum }_{X,Y}P(X,Y)\log \frac{P(X|Y)}{P(X)}\\ ={\sum }_{X,Y}P(X,Y)\log \frac{P(X,Y)}{P(X)P(Y)}\end{array}$$ $(2)$ 对式$(b)$,由式$(a)$的推导知显然成立
$(3)$ 对式$(c)$,$$\begin{array}{rl}H(X,Y)& =-\sum _{X,Y}P(X,Y)\log P(X,Y)\\ & =-\sum _{XY}^{XY}P(X,Y)\log P(X)-\sum _{XY}P(X,Y)\log P(Y|X)\\ & =-\sum _{X}P(X)\log P(X)-\sum _{XY}P(X,Y)\log P(Y|X)\\ & =H(X)+H(Y|X)\end{array}$$ 同理可证$H(X,Y)=H(Y)+H(X|Y)$
$(4)$对式$(d)$，有$\begin{array}{rl}I(X;Y)+H(X,Y)& =(H(X)-H(X|Y))+(H(Y)+H(X|Y))\\ & =H(X)+H(Y)\end{array}$
定理得证. 下图为联合熵、条件熵以及互信息之间的关系

四、相对熵
对定义于随机变量$X$的状态空间${\Omega }_X$上的两个概率分布$P(X)$和$Q(X)$，可以用相对熵来度量它们之间的差异，即有$$KL(P,Q)=\sum _{x}P(X)\log \frac{P(X)}{Q(X)}$$其中约定：$\log \frac{0}{q}=0;p\log \frac{p}{0}=\infty$
$\forall p>0.KL(P,Q)$又被称为$P(X)$和$Q(X)$之间的$\text{ Kullback-Leibler }$距离，但它不是一个真正意义上的距离，因为$KL(P,Q)̸=KL(Q,P)$
定理3 (信息不等式)
设$P(X)$和$Q(X)$为定义在某个变量$X$的状态空间${\Omega }_X$的两个概率分布，则有$$KL(P,Q)⩾0$$其中，当且仅当$P$与$Q$相同，即$P(X=x)=Q(X=x),\forall x\in {\Omega }_X$时等号成立
证明
$$\begin{gathered} \sum _{X}P(X)\log \frac{P(X)}{Q(X)}=-\sum _{X}P(X)\log \frac{Q(X)}{P(X)} \\ ⩾-\log \sum _{X}P(X)\frac{Q(X)}{P(X)}(Jensen不等式) \\ =-\log \sum _{X}Q(X)=-\log 1=0 \end{gathered}$$ 定理得证
推论 对于满足${\sum }_{X}f(X)>0$的非负函数$f(X)$，定义概率分布$P^{\ast }(X)$为
$$P^{\ast }(X)=\frac{f(X)}{{\sum }_{X}f(X)}$$ 那么对于任意其它的概率分布$P(X)$，则有$$\sum _{X}f(X)\log P^{\ast }(X)⩾\sum _{X}f(X)\log P(X)$$其中当且仅当$P^{\ast }$与$P$相同时等号成立
证明: 根据上述定理有$$KL\left(P^{\ast },P\right)=\sum _X{P}^{\ast }(X)\log \frac{P^{\ast }(X)}{P(X)}⩾0$$因此有$$\sum _X{P}^{\ast }(X)\log P^{\ast }(X)⩾\sum _X{P}^{\ast }(X)\log P(X)$$即$$\sum _X\frac{f(X)}{{\sum }_{X}f(X)}\log P^{\ast }(X)⩾\sum _X\frac{f(X)}{{\sum }_{X}f(X)}\log P(X)$$从而有$$\sum _{X}f(X)\log P^{\ast }(X)⩾\sum _{X}f(X)\log P(X)$$推论得证

五、互信息与变量独立
定理4 对任意两个离散随机变量$X$和$Y$，有
$(1)$ $I(X;Y)⩾0$
$(2)$ $H(X|Y)⩽H(X)$
上面两式当且仅当$X$和$Y$相互独立时等号成立。
证明:由定理2中式 $I(X;Y)={\sum }_{X,Y}P(X,Y)\log \frac{P(X,Y)}{P(X)P(Y)}$可得$I(X;Y)=KL(P(X,Y),P(X)P(Y))$即$I(X;Y)$是分布于$P(X,Y)$和$P(X)P(Y)$之间的相对熵,根据信息不等式，$I(X;Y)⩾0$当且仅当
$P(X,Y)=P(X)P(Y)$时等号成立。亦即$I(X;Y)=0$，当且仅当$X$和$Y$相互独立。由于$I(X;Y)=H(X)-H(X|Y)$，所以$H(X|Y)⩽H(X)$,且$H(X|Y)=H(X)$且仅当$X$和$Y$相互独立，定理得证。
定理4 从信息论角度为边缘独立这一概念提供了一个直观解释，即两个随机变量相互独立当且仅当它们之间的互信息为零。
条件熵$H(X|Z)$表示给定$Z$时$X$剩余的不确定性
再进一步给定$Y$，$H(X|Z,Y)$为$X$剩余的不确定性
两者之差为给定$Z$时观测$Y$取值会带来的关于$X$的信息量，即$$I(X;Y|Z)=H(X|Z)-H(X|Z,Y)$$称为给定$Z$时$Y$关于$X$的信息。易证$I(X;Y|Z)=I(Y;X|Z)$，因此$I(X;Y|Z)$也称为给定$Z$时$X$和$Y$的条件互信息

定理5 对任意3个离散随机变量$X,Y$和$Z$，有
$(1)$ $I(X;Y|Z)⩾0$
$(2)$ $H(X|Y,Z)⩽H(X|Z)$
上式两式当且仅当$X\perp Y|Z$时等号成立
证明：$$\begin{array}{rl}I(X;Y|Z)& =H(X|Z)-H(X|Y,Z)\\ & =\sum _{X,Z}P(X,Z)\log \frac{1}{P(X|Z)}-\sum _{X,Y,Z}P(X,Y,Z)\log \frac{1}{P(X|Y,Z)}\\ & =\sum _{X,Y,Z}P(X,Y,Z)\log \frac{1}{P(X|Z)}-\sum _{X,Y,Z}P(X,Y,Z)\log \frac{1}{P(X|Y,Z)}\\ & =\sum _{X,Y,Z}P(X,Y,Z)\log \frac{P(X|Y,Z)}{P(X|Z)}\end{array}$$$$\begin{array}{l}={\sum }_{Z}P(Z){\sum }_{X,Y}P(X,Y|Z)\log \frac{P(X,Y|Z)}{P(X|Z)P(Y|Z)}\\ ={\sum }_{Z}P(Z)KL(P(X,Y|Z),P(X|Z)P(Y|Z))\\ ⩾0\end{array}$$当且仅当$(P(X,Y|Z)=P(X|Z)P(Y|Z)$,即$X\perp Y|Z$时等号成立
直观解释给定$Z$，两个随机变量$X$和$Y$相互条件独立，当且仅当它们的条件互信息为零。