2015秋 信息论 第3章离散信道与平均互信息量 - 图文

–互信息量可正可负

11?logI(xi;yj)?logp(xi)p(xi/yj)?当后验概率p(xi|yj)大于先验概率p(xi)时，互信息量

I(xi;yj)大于零，为正值，意味着事件yj的出现有助于肯定事件xi的出现；

?当后验概率p(xi|yj)小于先验概率p(xi)时，互信息量I(xi;yj)小于零，为负值，意味着事件yj的出现不利于肯定事件xi的出现。造成不利的原因是存在信道干扰。

21

信源 X 信道 Y 信宿 ?X??危险安全???P(x)???0.50.5????若信道无干扰

Y=危险?X=危险；Y=安全?X=安全

p(x安全/y安全)1I(x安全;y安全)?log?log2?1(bit)p(x安全)1/2p(x危险/y危险)1I(x危险;y危险)?log?log2?1(bit)p(x危险)1/222

信源 X 信道 XY 信宿 信道故障（设备故障，人员问题）Y=安全?X=安全；

X

信道错误，X,Y取值相反

p(x安全/y安全)I(x安全;y安全)?logp(x安全)???23

3.2.2平均互信息量

–互信息量I(xi;yj)是定量地研究信息流通问题的重要基础。

?但只能描述信源发出某个具体消息xi，信宿收到某具体消息yj时流经信道的信息量，是随xi和yj变化的随机变量。

?不能从整体上作为信道中信息流通的测度。

–平均互信息量I(X;Y)?从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。

24