信息论与编码习题参考答桉1

2002 Copyright EE Lab508

(5)由上面,d?1时与试验信道相对应的D?1??d[PY]??D??d?d?D??1?d?D反向试验的信道矩阵为:

8.14设离散无记忆信源:

?U u1 u2 u3 ?[U?P]:?111

?P(U) 333?其失真失真度为汉明失真度.

(1) 试求Dmin,R(Dmin),并写出相应试验信道的信道矩阵;

(2) 试求Dmax,R(Dmax), 并写出相应试验信道的信道矩阵;

(3) 若允许平均失真度D=1/8,试问信源[U·P]的每一个信源符号平均最少由几个二进制码

符号表示? 解:

3(1)最小允许失真度：则满足保真度D?DDminmin??i?1p(ui)?minjd(ui,bj)??p(u1)?0?p(u2)?0??p(u3)?0＝0?0的信道矩阵0100??0?1??Y,则此时H(U/Y)?0?1? [P]?0???0p(bj/ai)?0或p(bj/ui)?1(i?1,2,3),设输出符号集合?R(Dmin)?R(0)?min?I(U;Y)??min?H(U)?H(U/Y)??H(U)?log3?1.585bit/symble(2)Dmax?D?min?3??111?1?min??p(ai)d(ai,bj)??min{p(u1));p(u2);p(u3)}?min?;;??jjj?333?3?i?1?1此时I(U;Y)?0?R(Dmax)?R()?03(3)离散信源在汉明失真度下,R(D)?H(X)?H(D)?Dlog(r?1)?对此信源R(D)?H(U)?H(D)?Dlog2?log3?H(D)?D1?log3?H(D)?D 0?D???3即R(D)???0 D?1?3?D?1111时,R()?log3?H()??0.9164bit/symble8888均最少可以用0.9164个二进制码符号来表示.

则信源的每一个符号平8.15设二元信源X的信源空间为:

?U u1 u2 [U?P]:?

P(U) ? 1-??(ω<1/2),其失真度为汉明失真度.

?H.F.

2002 Copyright EE Lab508

若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示? 解:

离散信源在汉明失真度下,R(D)?H(X)?H(D)?Dlog(r?1)?对此信源R(D)?H(U)?H(D)?H(?)?H(D)?H(?)?H(D) 0?D??即R(D)???0 D???D?12?时11111R(?)?H(?)?H(?)???log??(1??)log(1??)?(2??)log(2??)?(3??)22222?每个信源符号平均最少1需要H(?)?H(?)个二进制码符号来表示2.

?H.F.