信息熵

信息的基本分类

• 语法信息
• 语义信息
• 语用信息

  符号系统

• X，Y：随机变量
• $x_k,y_j$ 变量取值
• $a_k,b_j$变量取值
• $\chi =x_k;k=1,2\dots K,\gamma =y_j;j=1,2\dots ,J$
• 事件：$X=x_k$
• $q_k=PrX=x_k$

事件自信息

我们将特定事件$X=x_k$发生后给外界带来的信息量定义为事件的自信息

$$I(X=x_k)=I(x_k)=-\log q(x_k)$$

a=2的单位为比特

a=e的单位为奈特

事件自信息的本质既是事件对外界提供的信息，也是外界观察心信息付出的代价,通常认为概率越小的事件的信息量越大

条件自信息

$$I(x_k|y_j)=-{\log }_{a}p(x_k|y_j)$$

事件Y=yj发生后X=xk发生给外界带来的信息

联合自信息

$$I(x_k,y_j)=-{\log }_{a}p(x_k,y_j)$$

X=xk,Y=yj一起发生的信息量

事件互信息

$$I(x_k;y_j)={\log }_a\frac{p(x_k|y_j)}{q(x_k)}$$

互信息的本质为事件Y=yj
中包含的有关事件X=xk信息量，即可以是事件X发生的信息量减去事件Y发生后事件X还能给外界提供的信息量

$$I(x_k;y_j)=-\log q(x_k)-[-\log p(x_k|y_j)]$$

互信息的对称性

$$I(x_k;y_j)=I(y_j;x_k)$$

互信息的性质

$$I(x_k;y_j)=\{\begin{array}{ll}>0& p(x_k|y_j)>q(x_k)\\ =0& X,Y\mathrm{独}\mathrm{立}\\ <0& p(x_k|y_j)<q(x_k)\end{array}$$

事件Y中包含X的信息量

条件互信息

$$I(x;y|z)=\log \frac{p(x|y,z)}{p(x|z)}$$$$=\log \frac{p(x,y|z)}{p(x|z)p(y|z)}$$

联合互信息

$$I(x;y,z)=\log \frac{p(x|y,z)}{p(x)}$$

联合互信息动链式法则

$$I(x;y,z)=I(x;y)+I(x;z|y)$$$$=I(y;x)+I(z;x|y)$$

变量的平均自信息——熵

$$H(X)=E(I(X))=-\sum _{x\in \chi }q(x){\log }_{a}q(x)$$

• 熵是随机变量不确定性的度量
• 熵是随机变量每次观察结果平均对外界所提供的信息量
• 熵是为了确证随机变量的取值外界平均所需要的与之相
  关的信息量

条件熵

• 以事件 Y=y 为条件的变量X的熵$$H(X|y)=\sum _{x\in X}p(x|y)I(X|y)=-\sum _{x\in X}p(x|y)\log p(x|y)$$
• 以变量 Y 为条件的变量X的熵$$H(X|Y)=\sum _{y\in Y}w(y)H(X|y)=-\sum _x\sum _{y}p(x,y)\log p(x|y)$$

  疑义度，在Y已知X剩余的不确定性

联合熵

$$H(X,Y)=-\sum _x\sum _{y}p(x,y)\log p(x,y)$$

联合链式法则

$$H(X,Y)=H(X)+H(X|Y)$$$$=H(Y)+H(Y|X)$$

熵的性质

(5)可加性

$$H(X_2){|}_{x_2\in {\chi }_2}=H(X_1{)}_{X_1\in {\chi }_1}+H(X_2|X_1{)}_{X_2\in {\chi }_2}^{X_1\in {\chi }_1}$$

对于变量X可以进行多步观察，每一步都可以从上一步观察的结果中得到更为细致的结果

(6)极值性

$$H_k<\log K$$

均匀分布时熵最大

凸性质

平均互信息

$$I(X;Y)=\sum _x\sum _{y}p(x,y)\log \frac{p(x|y)}{q(x)}$$

• 非负性
• 对称性
• 互信息与熵的关联性$$I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(X,Y)$$

  求互信息常用上面的公式,相互独立的事件互信息为0

条件互信息

$$I(X;Y|Z)=\sum _x\sum _y\sum _{z}p(x,y,z)\log \frac{p(x|y,z)}{p(x)}$$

联合互信息

$$I(X;Y,Z)=\sum _x\sum _y\sum _{z}p(x,y,z)\log \frac{p(x|y,z}{p(x)}$$$$=I(X;Z)+I(X;Y|Z)$$

相对熵

一个变量的两种概率分布

$$D(p//q)=\sum _{x}p(x)\log \frac{p(x)}{q(x)}$$

表示实际分布p(x)和假定分布q(x)之间的平均差距，也称为鉴别熵

相对熵的性质

• 非负$$D(p//q)>=0$$
• 非对称$$D(p//q)\mathrm{D̸}(q//p)$$
• 与互信息关系$$I(X;Y)=D(p(xy//p(x)p(y))>=0$$

疑义度

错误概率

$$P_E=\sum _{k=0}^{K-1}\sum _{j\mathrm{k̸}}Pr\{X=k,\hat{X}=j\}$$

fano不等式

$$H(X|\hat{X})<=H(P_E)+P_E\log (K-1)$$

马尔可夫链

每个随机变量都是前一个随机变量一步处理的结果,任意一个节点已知，后面的变量和前面没得变量条件独立。

$$p(xyz)=p(x)p(y|x)p(z|y)$$$$p(z|xy)=p(z|y)$$$$p(xz|y)=p(x|y)p(z|y)$$$$Z\to Y\to X$$$$I(X;Z|Y)=0$$

• 马尔可夫链是可逆的

数据处理定理

如果$X\to Y\to Z$

则$I(X;Y)>=I(X;Z),I(X;Y)>=I(X;Y|Z)$

四变量马尔科夫链

$$graphLRU-->X$$$$X-->Y$$$$Y-->V$$$$I(X;Y)>=I(U;V)$$

互信息的凸性

$$I(X;Y)=I(\{q(x)\},\{p(y|x)\}$$

互信息I(X;Y)是关于输入分布{q(x)}和转移概率矩阵{p(y|x)}的函数

连续随机变量的互信息

$$I(X;Y)=\int \int p_{XY}(x,y)\log \frac{p_{XY}(x,y)}{p_X(x)p_Y(y)}dxdy$$$$I(X;Y|Z)=\int \int \int p_{XYZ}(x,y,z)\log \frac{p(x,y|z)}{p(x|z)p(y|z)}dxdydz$$$$I(X;YZ)=\int \int \int p_{XYZ}(x,y,z)\log \frac{p(x,y,z)}{p(x)p(yz)}dxdydz$$

基本性质

$$I(X;Y)>=0$$$$I(X;Y)=I(Y;X)$$$$I(X;YZ)=I(X;Y)+I(X;Z|Y)$$

连续随机变量微分熵

连续随机变量的熵无穷大，所以引入微分熵的概念来衡量连续变量的相对不确定性

$$H_C(X)=h(x)=-\int p_X(x)\log p_X(x)dx$$

HC (X )不具有线性变换不变性,可正、可负

条件微分熵

$$H_C(X|Y)=-\int \int p_{XY}(x,y)\log p(x|y)dxdy$$

联合微分熵

$$H_C(X,Y)=-\int \int p_{XY}(x,y)\log p(x,y)dxdy$$$$=H_C(X)+H_C(Y|X)$$$$=H_C(Y)+H_C(X|Y)$$

微分熵极大化

峰值受限

若 峰值受限于[-M,+M] 即 则 X为均匀分布微分熵最大

$$H_C(X)<=In2M$$

功率受限

若X的方差不大于${\sigma }^2$,则X为高斯分布时微分熵最大

$$H_C(X)<=1/2In2\pi e{\sigma }^2$$

熵功率

• 定义连续随机变量 的熵功率为$$\widehat{{\sigma }_X^2}=\frac{1}{2\pi e}{e}^{2H_C(X)}$$
• 高斯随机变量的微分熵$$H_C(X)=\frac{1}{2}In(2\pi e{\sigma }^2)$$
• 高斯变量熵功率$$\widehat{{\sigma }_X^2}=\frac{1}{2\pi e}{e}^{2H_C(X)}={\sigma }^2$$

熵功率不等式

$$H_C(X)<=In(2\pi e{\sigma }^2)$$$$\widehat{{\sigma }_X^2}=\frac{1}{2\pi e}{e}^{2H_C(X)}<={\sigma }^2$$

功率一定时，高斯变量的熵功率最大，与功率相等

平稳源

平稳源：任意长度的片段的联合概率分布与时间起点无关

$$Pr(X_1{X}_2...X_N=x_1{x}_2...x_N)=Pr(X_{L+1}{X}_{L+2}...X_{L+N}=x_1{x}_2...x_N)$$

简单无记忆源

$$Pr(X_1{X}_2...X_N=x_1{x}_2...x_N)=\prod _{n=1}^{N}Pr(X_n=x_n)$$

平稳源的熵

平均每符号熵

$$H_N(X)=\frac{1}{N}H(X_1{X}_2...X_N)$$

熵速率

$$H_{\mathrm{\infty }}(X)=\underset{N\to \mathrm{\infty }}{lim}{H}_N(X)$$

熵相对率

$$\eta =\frac{H_{\mathrm{\infty }}(X)}{\log K}$$

信源冗余度

$$R=1-\eta$$

平均条件熵

$$H(X_N|X_{N-1}{X}_{N-2}...X_1)$$

平稳源熵的性质

• 单调增
• $HN(X)>=H(X_N|X{N-1}…X_1)$
• $H{\infty}(X)=\lim{N\to\infty}HN(X)=\lim{N\to\infty}H(XN|X{N-1}…X_1)$

马尔科夫源

$$Pr(X_l|X_{l-1}{X}_{l-2}...X_1{X}_0)=Pr(X_l|X_{l-1}...X_{l-m})$$

马尔科夫源的状态图

• 时齐（时不变）马尔科夫源：状态转移概率pij(n)与时间n无关。
  到达任一其它状态。
• 既约（不可约）马尔科夫源：
  从任一状态出发，经有限步总可以
• 状态转移概率矩阵：$$P=[p_{ij}{]}_{K^m\times K^m}$$
• n时刻的状态概率分布：$$Q(n)=(q_1(n),q_2(n)...q_{K^m}(n))$$$$Q(n+1)=Q(n)P$$
• 对时齐既约马尔科夫源，状态的稳态分布存在$$\hat{Q}=\underset{n\to \mathrm{\infty }}{lim}Q(N+1)=\underset{n\to \mathrm{\infty }}{lim}Q(n)P=\hat{Q}P$$

  马尔科夫的熵率

  $$H_{\mathrm{\infty }}=H(X|S)$$