2015秋 信息论 第3章离散信道与平均互信息量 - 图文

?互信息量I(xi;yj) 在集XY上的概率加权平均值称为集合Y与集合X间的平均互信息量。

I(X;Y)???p(xiyj)I(xi;yj)???p(xiyj)logijijp(xi/yj)p(xi)1???p(xiyj)log???p(xiyj)logp(xi/yj)p(xi)i?1j?1i?1j?11??p(xi)log?H(X|Y)p(xi)i?1?H(X)?H(X|Y)25

nmnmnI(X;Y)?H(X)?H(XY)①H(X)是先验的不确定性；

②H(X | Y)是输出端收到符号Y后，对输入符号X尚

存在的平均不确定程度，称为信道疑义度(损失熵)；

③I(X ; Y)是消除的不确定性，获得的信息量；

26

复习一下

互信息量

1.互易性2 极值性

I(xi;yj)?I(xi)?I(xi/yj)p(xi/yj)11?log?log?logp(xi)p(xi/yj)p(xi)p(xi)p(yj)p(yj)11?I(yj;xi)?log?logp(yi)p(yi/xj)?logp(xiyj)?logp(yj/xi)3 互信息量可正可负

1I(xi)?log??logP(xi)I(xi/yj)??logp(xi/yj)P(xi)nH(X)?E[I(xi)]???p(xi)logp(xi)i?127

?X??x1将已知信源?????P(X)??0.5x2??0.5?接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、信道疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。

I(X;Y)???p(xiyj)logijijp(xi/yj)p(xi)H（X/Y）????p(xiyj)logp(xi/yj)H（Y/X）????p(xiyj)logp(yj/xi)ijH(XY)????p(xiyj)logp(xiyj)ij28