? 若 {X, (p(β|α)), Y } 满足 β = f (α)，即由 α 可唯一确定 β，则称为无噪 有损信道，其信道容量为 C = max H(Y ) = log s ? max H(X) = log r。 ? 反之，若由 β 可唯一确定 α，则称为无损有噪信道，其信道容量为 C = max H(X) = log r ? max H(Y ) = log s。
7.2 离散对称信道的信道容量计算
? 若信道矩阵中的每一行都是由同一符号集合的不同排列组成的，则称此信 道是行对称信道。
? 若信道矩阵中的每一列都是由同一符号集合的不同排列组成的，则称此信 道是列对称信道。
? 若某信道即是行对称、又是列对称的，则称此信道为对称信道。
Theorem 16. 当信源为均匀分布时，对称信道达到信道容量：
C = log s ? H(p1, p2, . . . , ps) 其中 p1, p2, . . . , ps 为信道矩阵中的任意一行。
(10)
? 若某个对称信道的输入和输出符号个数相同，且信道中总的错误概率为
p，此错误概率均匀地分配给 r ? 1 个不在主对角线上的元素，则称此信道 为强对称信道。
Theorem 17. 当信源为均匀分布时，强对称信道达到信道容量：
C = log r ? p log(r ? 1) ? H(p)
(11)
? 若 s 个输出符号可分为 m 个互不相交的子集，信道矩阵中各个子集对应 的列构成的子矩阵都是对称矩阵，则称原矩阵对应的信道是准对称信道。 Theorem 18. 当信源为均匀分布时，准对称信道达到信道容量：
m ∑ C = log r ? Ni log Mi ? H(p1, p2, . . . , ps) i=1
(12)
其中 p1, p2, . . . , ps 为信道矩阵中的任意一行。Ni 和 Mi 分别为第 i 个子矩阵的 行、列元素之和。
7.3 信道矩阵可逆的信道容量求法
已知：r = s，信道转移概率矩阵可逆；
r ∑pj = pipji i=1
(13)
假设：P 的所有分量都不为零
9
求解：根据 DMC 容量定理 (7)，因为信源概率分布的所有分量 pi 都不为零， 所以有：
I(X = xi; Y ) = C
?xi
(14)
s ∑ pji = C pji log pj
j=1
s s ∑ ∑ pji log pji = pji [C + log pj ] j=1
j=1
(15)
因为信道转移概率矩阵可逆且 r = s，所以可以求出上述方程组的 s 个未知数 [C + log pj ]。 记
βj = C + log pj 所以
pj = 2βj ?C ∑ 由约束条件 pj = 1 可得：
j=1
s ∑C = log 2βj j=1
s
(16) (17)
(18)
根据 pj 再由式(13)求出信源概率分布，验证所有的 pi 是否满足大于零的假 设。如不满足，则说明必有若干个分量为零，再试探。
7.4 拉格朗日乘数法
? 平均互信息量 I(X; Y ) 是 r 个变量 (p(ai), i = 1, 2, . . . , r) 的多元上凸函数，
r ∑ 且满足约束条件 p(ai) = 1 因此可以用拉格朗日乘数法来求其极值。
i=1
7.5 信道容量的迭代计算法
∑ ∑ pji I(X; Y ) = pipji log
pj
i j
∑ ∑ ??ij= pipji log pi
i j
(19)
其中 ?? = ，Φ? = (?? )rs。
ij ij pj ∑ 记 Φ = (?ij )rs 为满足 ?ij ≥ 0, ?ij = 1 的任意矩阵。
i
pi pji
1
0
Theorem 19. 当 P 和 P 给定时，I(X; Y ) = I(P , Φ?) ? I(P , Φ)，当 Φ = Φ? 时 等号成立。
Theorem 20. 若 Φ 固定，则：
max ?P
I(P , Φ) =I(P , Φ)
[
= log ∑r ( )] exp ∑s pji log ?ij
i=1
j=1
此时 P 的分布 P ? = (p?i) 为：
( ) exp
∑
s pji log ?ij p?j=1
i
= ∑r ( exp ∑ ) s pji log ?ij
i=1
j=1
算法：
Step 1: 任取一输入概率分布 P (0)，令 k = 0，C(0) = ?∞，并给 δ 赋初值；Step 2: 计算本轮 ?ij
p(k)?(k)
ij = i pji ∑r (k)i=1p
i p ji Step 3: 计算新一轮的 pi
( ) exp ∑s pji log ?(k)ij
p(k+1) j=1
i = ∑r ( ) exp ∑s pji log ?ij(k )
i=1
j=1
Step 4: 计算新一轮的 C
∑ C(k+1) = log r exp ∑s pji log ?(k)ij
i=1 j=1
Step 5: 若
C(k+1) ? C(k)
则 k = k + 1，转Step 2；
C(k+1) > δ ()
Step 6: 输出 P = p(k+1)i
和 C(k+1)，终止。
r
10
(20)
(21)
(22)
(23)
(24)(25)
8 数据处理定理
Lemma 21. 设 X, Y, Z 表示两个级联信道对应的三个随机变量，则其互信息满 足以下关系：
I(XY ; Z) ≥ I(Y ; Z) (26)
I(XY ; Z) ≥ I(X; Z) (27)
等号成立的充要条件为：?x, y, z 有 p(z|xy) = p(z|y), p(z|xy) = p(z|x)。即 X, Y, Z 构成一个一阶马尔可夫链。
Theorem 22 (数据处理定理). 若随机变量 X, Y, Z 构成一个一阶马尔可夫链， 则有：
I(X; Z) ≤ I(X; Y ) I(X; Z) ≤ I(Y ; Z) (28) (29)
? 数据处理定理表明数据在处理之后，一般只会增加信息的损失，最多保持 原来的信息不变，不可能获得额外的信息。
? 在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果 一旦在某一过程中丢失了一些信息，以后的系统不管如何处理，如果不触 及到丢失信息过程的输入端，就不能再恢复已丢失的信息。
? 换一种说法：对接收到的数据 Y 进行处理后，无论变量 Z 和变量 Y 之间 是确定对应关系还是概率关系，决不会减少关于 X 的不确定性。
9 信道的组合
? 级联信道：设 N 个信道串连在一起，其转移概率矩阵分别为 P1, P2, . . . , PN ， 则总的级联信道的转移概率矩阵为：
N ∏ P = P1P2 . . . PN = Pn n=1
(30)
根据求得的级联信道的 P，由前述的各种方法就可求出级联信道的信道 容量。 Theorem 23.
C ≤ min{C1, C2, . . . , CN } (31)
n
? 并联信道共有三种形式：输入并接信道、并用信道、和信道。
– 输入并接信道的 N 个组成信道具有相同的输入符号表，且输入被同 时使用，而 N 个信道的输出各不相同，他们在一起组成输出符号序 列，用 Y = (Y1Y2 . . . YN ) 来表示。
11
相关推荐：
loading