《信息论基础》试卷(期末)(B2卷)

五、（１6分）设一个离散无记忆信源的概率空间为

它们通过干扰信道，信道输出端的接收符号集为Y??b1,b2?，已知信道传输概率如下图所示。

试计算：

（1）信源X中事件x1和x2分别含有的自信息量；（２分） （2）收到信息yj(j?1,2)后，获得的关于x1的信息量；（２分） （3）信源X的信息熵；（２分）

（4）条件熵H?Y|x1?，H?Y|x2?；（２分）

（5）共熵H(XY)、信道疑义度H(X|Y)和噪声熵H(Y|X)；（６分） （6）收到消息Y后获得的关于信源X的平均信息量。（２分）

《信息论基础》试卷第5页

《信息论基础》试卷第6页

六、（１２分）设某信道的传递矩阵为

（1）若输入符号P?x1??P?x2??1/4，P?x3??1/2，求H(X|Y)和I(X;Y)。 （2）计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。

《信息论基础》试卷第7页

七、（16分）有一个二元二阶马尔可夫信源，其信源符号集为{0，1}，初始概率大小为

12P(0)?，P(1)?。条件概率定为

33P(0|00)?P(1|11)?0.8

P(1|00)?P(0|11)?0.2

P(0|01)?P(0|10)?P(1|01)?P(1|10)?0.5

（1） 画出该信源的状态转移图。 （2） 计算达到稳定后状态的极限概率。 （3） 该马尔可夫信源的极限熵H?。

（4） 计算达到稳定后符号0和1的概率分布。

《信息论基础》试卷答案

一、填空题（共25分，每空1分）

1、连续信源的绝对熵为 无穷大。（或??????p?x?lgp?x?dx?limlg?）

???2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。

3、无记忆信源是指 信源先后发生的符号彼此统计独立 。

4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号

的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均

码长就可以降低，从而提高 有效性(传输速率或编码效率) 。

5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠

《信息论基础》试卷第8页