.
2.1一个马尔可夫信源有3个符号?u1,u2,u3?，转移概率为：p?u1|u1??1/2，
p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，
p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下
状态转移矩阵为：
1/2u11/31/21/32/32/3u2u3
0??1/21/2??p??1/302/3?
?1/32/30???设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
11?1W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?由?得?2计算可得?W2? 325?W1?W2?W3?1?2?6?W2?W3?W3?3??25??W1?W2?W3?1?
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，
p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：p(0|00)?p(00|00)?0.8 p(0|01)?p(10|01)?0.5
p(0|11)?p(10|11)?0.2 p(0|10)?p(00|10)?0.5 p(1|00)?p(01|00)?0.2 p(1|01)?p(11|01)?0.5 p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.5
Word文档
.
0??0.80.20??000.50.5? 于是可以列出转移概率矩阵：p???0.50.500???00.20.8??0状态图为：
0.80.2000.5010.50.50.50.2
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有
10110.85?W1??14?0.8W1?0.5W3?W1??0.2W1?0.5W3?W2?W2?1?WP?W????47
得 计算得到0.5W2?0.2W4?W3???Wi?1??0.5W2?0.8W4?W4??W3?1?i?1??7W1?W2?W3?W4?1???5?W4?14?2.7 设有一离散无记忆信源，其概率空间为??X??x1?0x2?1x3?2x4?3????? P3/81/41/41/8???? （1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：I(x1)?log218?log2?1.415bit p(x1)3同理可以求得I(x2)?2bit,I(x3)?2bit,I(x3)?3bit
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I?14I(x1)?13I(x2)?12I(x3)?6I(x4)?87.81bit 平均每个符号携带的信息量为
87.81?1.95bit/符号 45
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜
Word文档
.
色。
（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵
解：令X表示指针指向某一数字，则X={1,2,……….,38}
Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知p(xiyj)?p(xi) （1）H(Y)??p(yj)logj?1312381838?log?2?log?1.24bit/符号 p(yj)3823818（2）H(X,Y)?H(X)?log238?5.25bit/符号
（3）H(X|Y)?H(X,Y)?H(Y)?H(X)?H(Y)?5.25?1.24?4.01bit/符号 2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r?xi,yj??rij为
?r11r12??r21r22?r?31r32r13??7/241/240????r23???1/241/41/24?
?r33?1/247/24???0?（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：联合概率p(xi,yj)为
Y X x1 x2 x3 X概率分布 X P x1 8/24 x2 8/24 x3 8/24 y1 y2 1/24 1/4 1/24 y3 0 1/24 7/24 H(X,Y)??p(xi,yj)log2ij7/24 1/24 0 1p(xi,yj)?2?72411log2?4?log224?log24247244 =2.3bit/符号
1H(Y)?3?log23?1.58bit/符号
3H(X|Y)?H(X,Y)?H(Y)?2.3?1.58 Y概率分布是 =0.72bit/符号 Y P y1 8/24 y2 8/24 y3 8/24
2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
Word文档
.
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
（3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)?0.3log2P(黑|白)=P(黑)
0.70.3黑0.3白0.71010?0.7log2?0.8813bit/符号 37P(白|白)＝P(白)
P(黑|黑)＝P(黑)
P(白|黑)＝P(白)
（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）
H?(X)?H(X2|X1)??p(xi,yj)log2ij1p(xi,yj)?0.9143?0.7log2?0.8?0.3log210.8111 ?0.0857?0.7log2?0.2?0.3log20.91430.08570.2＝0.512bit/符号
2.20 给定语音信号样值X的概率密度为p(x)?小于同样方差的正态变量的连续熵。
解：
1??x?e,???x???,求Hc(X)，并证明它21??xHc(X)???px(x)logpx(x)dx???px(x)log?edx2????1???px(x)log?dx??px(x)(??x)logedx2????11??x??log?loge??e(?x)dx22??11??log??loge??e?x??(?x)dx?log22??11??log??2loge??2xe??xdx2201??x?????log??loge?(1??x)e??0212e??log??loge?log2?Word文档
??0?????????????01??x?e(?x)dx 2 .
E(X)?0,D(X)?H(X,)?
2?2
1214?e2?e2e?elog2?e2?log2?log?log?H(X) 2?2???2.29 有一个一阶平稳马尔可夫链X1,X2,L,Xr,L,各Xr取值于集合A??a1,a2,a3?,已知起始概率P(Xr)为p1?1/2,p2?p3?1/4，转移概率如下图所示
j i 1 2 3 1 1/2 2/3 2/3 2 1/4 0 1/3 3 1/4 1/3 0 (1) 求(X1,X2,X3)的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵
(3) 求H0,H1,H2和它们说对应的冗余度 解：（1）
H(X1,X2,X3)?H(X1)?H(X2|X1)?H(X3|X2,X1)
?H(X1)?H(X2|X1)?H(X3|X2)111111H(X1)??log?log?log?1.5bit/符号
224444
X1，X2的联合概率分布为 p(x1ix2j) 1 2 3 那么 1 1/4 1/6 1/6 2 1/8 0 1/12 3 1/8 p(x2j)??p(x1ix2j)
iX2的概率分布为
1/12 0 1 14/24 2 5/24 3 5/24 111131131H(X2|X1)?log4?log4?log4?log?log3?log?log3
48862126212=1.209bit/符号
X2X3的联合概率分布为 p(x2ix3j) 1 2 3 Word文档
相关推荐：
loading