信息论与编码复习题，德州学院

N1?1/3?1/6?1/2N2?1/3N3?1/6M1?1/2M2?2/3M3?1/3

?1111???信道转移矩阵为P P??3366? 求该信道的信道容量 。

1111???6633?

解：由信道转移矩阵可知，矩阵的第二行是第一行的置换，每一列都是第一列的置换，所以信道是对称的，所以信道容量为 C?logs?H(p1,p2,?,ps)

1111?log4?H(,,,)

3366?0.082比特∕符号

p??1?p?qq信道转移矩阵为P P?? 求该信道的信道容量 。 ?q1?p?q??p解：从该信道转移矩阵可以看出，该信道是一个准对称信道，可以分解为

p??1?p?qP?1?p? 1?p?q???q?P2???

?q?N1?1?q,N2?qM1?1?q,M2?2q

由准对称离散信道的信道容量计算公式

?1?1?若已知信道矩阵P??0??0??000?00??10?，根据该信道矩阵画出信道图。

?10?10??

画出二元纯对称删除信道。

1 - q

a

1 b 1 b

q q 2

a 2

1 - q

b

3

p??1?p某二元离散无记忆信道的转移矩阵为P??求对信道进行二次扩展，扩展后的信道??p1?p?转移矩阵及信道容量。

?(1?p)2p(1?p)p(1?p)p2???22p(1?p)(1?p)pp(1?p)? Q??22?p(1?p)p(1?p)p(1?p)??22?p(1?p)p(1?p)(1?p)???p?

由扩展信道的转移矩阵知，二次扩展信道是 对称信道，当输入序列等概率分布时可以达到信息容量C2，将扩展后的每种序列排列认 为是一个符号，二次扩展信道就等价于四元信道，四元对称信道的信道容量为

C2?log4?H((1?p)2,p(1?p),p(1?p),p2)

?2?H((1?p)2,p(1?p),p(1?p),p2) 比特/序列

假设信道的输入、输出符号数相等，都等于r,且信道条件转移矩阵为

pp??1?p??r?1r?1???pp??1?p?求信道容量 。 ?r?1r?1?????????p?p?1?p???r?1r?1?解:显然该信道是对称的，信道容量为

ppC?logr?H(1?p,,?,)

r?1r?1pp?logr?(1?p)log(1?p)?(r?1)log

r?1r?1?logr?H(p)?plog(r?1)

?0.5 0.3 0.2??求下面译码函数(规则)的pe。 0.2 0.3 0.5设有单符号离散信道，信道矩阵为P??????0.3 0.3 0.4???F(b1)?a*1?F(b1)?a*1?? A:?F(b2)?a*3 B:?F(b2)?a*2

??**F(b)?aF(b)?a2333??解：根据最大似然译码准则可选取译码函数A,在输入等概率分布时可使pe最小。 1spe???p(bj|ai)

3j?1i?*=(1/3)(0.2+0.3+0.3+0.3+0.2+0.4)=0.567 若选择B:

?pe=(1/3)(0.2+0.3+0.3+0.3+0.2+0.5)=0.600

分别写出循环码（7，4）对应于序列0100和1001的码字。 对0100：

m(x)?m3x3?m2x2?m1x?m0?x2…….（3分）

c(x)?m(x)g(x)?x2(x3?x2?1)?x5?x4?x2…….（2分） 得0110100…….（1分） 对1001

m(x)?x3?1c(x)?x6?x5?x3?1…….（5分） 得 1101001…….（1分）。