2015秋.信息论.第3章离散信道与平均互信息量

例3.4 考虑二元对称信道的情况

I(X;Y)?I(Y;X)?H(Y)?H(YX)1111?w(plog?plog)?(1?w)(plog?plog)pppp11?plog?plog?H(p)ppH(Y/X)p(Y?0)?wp?(1?w)p?wp?wpp(Y?1)?1?(wp?wp)H(Y)?H(wp?wp)I(Y;X)?H(wp?wp)-H(p)41

I(Y;X)?H(wp?wp)-H(p)1-H(P)0

0.5

1.0

w

固定二元对称信道的平均互信息

42

I(Y;X)?H(wp?wp)-H(p)H(w)当p=1/2时,

I(X;Y)=0, 信道输出端获得的信息量最小。信源的信息全部损失在信道中p43

0

0.5

1.0

I(X;Y)

信道容量

对于给定的信道，至少存在一个信源，当通过这个信道传递时，可以获得最大的平均互信息。p1(x)p2(x)p(x)

44