性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为
高斯分布(或x?N?0,1?或
1?x2e)时，信源具有最大熵，其值为 2?20.6155hart(或1.625bit或
1lg2?e)。 28、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或Hr(S)或
H?s?)，此时编码效率为 1 ，编码后的信息传输率为 lgr bit/码元 。 lgr10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，
二是 信源符号概率分布的不均匀性 。
12、m阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q 个
m
不同的状态。
13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信
息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息
《信息论基础》试卷第9页
量为 lg36/5=2.85 比特。
14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<”
H(XY) = H(Y)+H(X∣Y) ≤ H(Y)+H(X)
《信息论基础》试卷第10页
?1a?x?b?二、(5分)已知信源的概率密度函数为p?x???b?a，计算信源的相对熵。
??0其他Hc?x???p?x?lgab1dx------3分 p?x??lg?b?a?bit/自由度-------2分
三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。
(1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。 (2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？
(3)如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？
1) c?10lg?1?SNR?------3分
?4.39?106b/s---1分
2) 10?c?1.27?106Hz---3分
lg?1?SNR?3) SNR?2cw?1=440----3分
四、(16分)已知信源共7个符号消息，其概率空间为
?S??s1????Px?????0.2s20.17s30.2s40.17s50.15s60.10s7? 0.01??试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、
编码信息率和编码效率。要求写出详细的编码过程和计算过程。
《信息论基础》试卷第11页
2 01 S1 0.22 00 S3 0.23 111 S2 0.173 110 S4 0.173 101 S5 0.154 1001 S6 0.104 1000 S7 0.01------6分
0.20.20.170.170.150.110.260.20.20.170.170.340.260.20.20.40.340.260.60.41.0
???LiPi?2.71位----2分
i?17H?s???Pilog2Pi?2.61bit/符号--------2分
i?17R’??log2r?2.71bit/码字--------2分
??H?s??0.963----------2分
?log2rH?s??0.963bit/码元--------2分
R??
五、(16分)设一个离散无记忆信源的概率空间为
?X??a1????Px?????0.5a2? 0.5??它们通过干扰信道，信道输出端的接收符号集为Y =[b1,b2]，已知信源传输概率如下图
所示。
0.98X1Y10.020.2Y2
《信息论基础》试卷第12页
X20.8
相关推荐：
loading