2002 Copyright EE Lab508
3 4111 S11 0.08 ?n(2)?n(2)2?i?1pini?0.64?1?0.16?2?0.16?3?0.08?3?1.68 码符号/2信源符号
2?0.84 码符号/信源符号n??1.68N?3时2??S S111 S112 S121 S122 S211 S212 S221 S222
[S?P]??3??P(S) 0.008 0.032 0.032 0.128 0.032 0.128 0.128 0.5123码长 1 3 3 3 5 5 5 5 8编码 0 100 111 110 11100 11101 11110 11111 信符 S222 S221 S212 S122 S112 S121 S211 S111 信符概率 0.512 0.128 0.128 0.128 0.032 0.032 0.032 0.008 0 1 0 0 1 0 1 0 0 1 1 1 0 1 ?n(3)??i?1pini ?0.512?1?0.128?3?0.128?3?0.128?3?0.032?5?0.032?5??0.032?5?0.008?5 ?2.184 码符号/3信源符号n?n(3)3?2.1843?0.728 码符号/信源符号
N?4时?S2 S1111 S1112 S1121 S1122 S1211 S1212 S1221 S1222?3?P(S) 0.0016 0.0064 0.0064 0.0512 0.0064 0.0512 0.0512 0.1024?3[S?P]???2S S2111 S2112 S2121 S2122 S2211 S2212 S2221 S2222??P(S3) 0.0064 0.0256 0.0256 0.1024 0.0256 0.1024 0.1024 0.4096? 码长 1 3 3 4 4 6 6 编码 0 100 101 1100 1101 111000 111001 信符 S2222 S2221 S2212 S2122 S1222 S2112 S2121 信符概率 0.4096 0.1024 0.1024 0.1024 0.1024 0.0256 0.0256 0 1 0 1 0 0.0512 1 0.2048 0.2048 0 1 0 0.5904 1 0.1024 0 0.3856 0 1 0 1 1 0.0512 0 0.1808 0 0.0512 1 1 0.0128 ?H.F. 2002 Copyright EE Lab508
6 6 6 6 7 7 7 8 8 ?n(4)?111010 111010 111100 111101 1111100 1111101 1111110 11111110 11111111 16S2211 S1221 S1212 S1122 S1112 S1121 S1211 S2111 S1111 0.0256 0.0256 0.0256 0.0256 0.0064 0.0064 0.0064 0.0064 0.00016 ?i?1pini ?0.4096?1?0.1024?(3?3?4?4)?0.0256?(6?6?6?6?6?6) ?0.0064?(7?7?7)?0.0064?8?0.0016?8 ?2.9632 码符号/4信源符号n?n(4)4?2.96324?0.7408 码符号/信源符号
(3)
N?1时,进行Huffman编码则n?1?R? 若编码平均码长达到下N?2时,R?N?3时,R?N?4时,R?H(S)nH(S)nH(S)n???0.72190.840.72190.7280.72190.7408H(S)n?0.7219bit/symbleH(S)n?1bit/symble限n?0.7129时,R??0.8594bit/symble?0.9916bit/symble?0.9745bit/symble
6.6设信源S的信源空间为
?S: s1 s2 s3 s4 s5 s6 s7 s8[S?P]:?
P(S): 0.2 0.1 0.3 0.2 0.05 0.05 0.05 0.05 ?符号集U:{0,1,2},试编出有效码,并计算其平均码长n.
解:进行Huffman编码:
r=3,q=8,因为(q-r)mod(r-1)=5mod2=1≠0,所以插入m=(r-1)- (q-r)mod(r-1)=2-1=1个虚假符号,令其为S9,则:
码长 1 1 2 2 编码 0 1 20 21 信符 S3 S1 S4 S2 信符概率 0.3 0.2 0.2 0.1 0 0 1 2 1 2 0 1 2 0 1 2 ?H.F. 2002 Copyright EE Lab508
3 3 4 4 4 8220 221 2220 2221 2222 piniS5 S6 S7 S8 S9（不使用） 0.05 0.05 0.05 0.05 0 ?n??i?1 ?0.3?1?0.2?1?0.2?2?0.1?2?0.05?3?0.05?3??0.05?4?0.05?4 ?1.8 码符号/信源符号
6.7设信源S的N次扩展信源SN,用霍夫曼编码法对它编码,而码符号U:{ α1,α2,?,αr },编码后所得的码符号可以看作一个新的信源
?U: a1 a2 ? ar [U?P]:?P(U): p p ? p12r?试证明:当N→∞时,limpi?N??1r(i?1,2,?，r).
证明:
?H.F.
2002 Copyright EE Lab508
对信源S的N次扩展信源由平均码长的界限定理H(SNS进行Huffam编码,得到的编码是无失真非,有:N延长有效码.)logr则?H(SH(S)logr?nN?NH(SN)logr??1N)N?logr?nNNH(S1N)N?logr??1N 其中,为N次扩张信源每个符号需要的平均码长码长?n?H(S)logr 其中n为信源S每个符号所需要的平均对上式各项求极限?limH?logrH(S)logr,不等式仍成立H(S)logr?1N)N???limn?lim(N??N???limn?N??H?logr?H?r定理,有?H(S)nN?limn?N??H?logr同时由无失真信源编码编码速率R?H(SnNN??N)?R??limR?limN??H(SnN)?limH(S)nN???H?H?logr?logr bit/symble?在N??时,编码速率即码符号集可见,对于码符号集由信源熵的最大值定理?limpi?N??U每一符号所包含信源的平均信息量R??logr,U,在N??时提供的信息量达到了知,此时各符号等概出现:最大Hmax(U)?logr1r(i?1,2,?,r)6.8设某企业有四种可能出现的状态盈利、亏本、发展、倒闭,若这四种状态是等概率的,那么发送每个状态的消息量最少需要的二进制脉冲数是多少?又若四种状态出现的概率分别是:1/2,1/8,1/4,1/8,问在此情况下每消息所需的最少脉冲数是多少?应如何编码? 解:
设S:{S1=“盈利”,S2=“亏本”,S3=“发展”,S4=“倒闭”},
(1)若四种情况等概率出现时,即p(S1)=p(S2)=p(S3)=p(S4)=0.25时,用脉冲来表示各信息可视为对信源S进行编码,由平均码长界限定理知: n?H(S)logr?H(0.25,0.25,0.25,0.25)log2?2 脉冲数/信源符号
所以发送每个状态的信息最少需要2个二进制脉冲.
(2) p(S1)=1/2,p(S2)=1/8,p(S3)=1/4,p(S4)=1/8时,由平均码长界限定理:
?H.F.
相关推荐：
loading