PDF《第三章课后习题》

第三章课后习题 【3.

1】 设信源 ? ? ? ? ? ? = ? ? ? ? ? ?

4 .

0 6 .

0 ) (

2 1 x x x P X 通过一干扰信道,接收符号为 ] , [

2 1 y y Y = ,信道传递概率如下图所示,求(1)信源 X 中事件

1 x 和2x分别含有的自信息;

(2) 收到消息 )

2 ,

1 ( = j y j 后, 获得的关于 )

2 ,

1 ( = i xi 的信 息量;

(3)信源 X 和信源Y 的信息熵;

(4)信道疑义度 ) | ( Y X H 和噪声熵 ) | ( X Y H ;

(5)接收到消息Y 后获得的平均互信息. 解: (1)信源 X 中事件

1 x 和2x分别含有的自信息分别为:

737 .

0 6 .

0 log ) (

1 log ) (

1 1 = ? = = x P x I 比特

32 .

1 4 .

0 log ) (

1 log ) (

2 2 = ? = = x P x I 比特 (2)根据给定的信道以及输入概率分布,可得

8 .

0 ) | ( ) ( ) (

1 1 = = ∑ X i i x y P x P y P

2 .

0 ) | ( ) ( ) (

2 2 = = ∑ X i i x y P x P y P 所求的互信息量分别为:

059 .

0 24

25 log

8 .

0 6 /

5 log ) ( ) | ( log ) ;

(

1 1

1 1

1 = = = = y P x y P y x I 比特 x1 x2 y1 y2 5/6 1/6 3/4 1/4

093 .

0 16

15 log

8 .

0 4 /

3 log ) ( ) | ( log ) ;

(

1 2

1 1

2 ? = = = = y P x y P y x I 比特

263 .

0 6

5 log

2 .

0 6 /

1 log ) ( ) | ( log ) ;

(

2 1

2 2

1 ? = = = = y P x y P y x I 比特

322 .

0 4

5 log

2 .

0 4 /

1 log ) ( ) | ( log ) ;

(

2 2

2 2

2 = = = = y P x y P y x I 比特 (3)信源 X 以及Y 的熵为:

971 .

0 4 .

0 log

4 .

0 6 .

0 log

6 .

0 ) ( log ) ( ) ( = ? ? = ? = ∑ X x P x P X H 比特/符号

722 .

0 2 .

0 log

2 .

0 8 .

0 log

8 .

0 ) ( log ) ( ) ( = ? ? = ? = ∑ Y y P y P Y H 比特/符号 (4)信道疑义度 ∑ ∑ ? = X Y y x P x y P x P Y X H ) | ( log ) | ( ) ( ) | ( 而相关条件概率 ) | ( y x P 计算如下:

8 5

8 .

0 5 .

0 ) ( ) ( ) | ( ) ( ) , ( ) | (

1 1

1 1

1 1

1 1

1 = = = = y P x P x y P y P y x P y x P

8 3 ) | (

1 2 = y x P

2 1

2 .

0 6 /

6 .

0 ) ( ) ( ) | ( ) ( ) , ( ) | (

2 1

1 2

2 2

1 2

1 = = = = y P x P x y P y P y x P y x P

2 1 ) | (

2 2 = y x P 由此计算出信道疑义度为:

9635 .

0 2

1 log

4 1

8 3 log

4 3

4 .

0 2

1 log

6 1

8 5 log

6 5

6 .

0 ) | ( = ? ? ? ? ? ? + ? ? ? ? ? ? ? + ? = Y X H 比特/符号 噪声熵为: 符号 比特/

7145 .

0 4

1 log

4 1

4 3 log

4 3

4 .

0 6

1 log

6 1

6 5 log

6 5

6 .

0 ) | ( log ) | ( ) ( ) | ( = ? ? ? ? ? ? + ? ? ? ? ? ? ? + ? = ? = ∑ x y P x y P x P X Y H (5)接收到信息Y 后获得的平均互信息为:

0075 .

0 ) | ( ) ( ) ;

( = ? = Y X H X H Y X I 比特/符号 【3.2】 设8个等概率分布的消息通过传递概率为 p 的BSC 进行传送,8 个消息 相应编成下述码字: M1=0000,M2=0101,M3=0110,M4=0011 M5=1001,M6=1010,M7=1100,M8=1111 试问: (1)接收到第一个数字

0 与M1 之间的互信息;

(2)接收到第二个数字也是

0 时,得到多少关于 M1 的附加互信息;

(3)接收到第三个数字仍为

0 时,又增加了多少关于 M1 的互信息;

(4)接收到第四个数字还是

0 时,再增加了多少关于 M1 的互信息. 解: 各个符号的先验概率均为

8 1 (1)根据已知条件,有pxyPyPMyP=======)0|0()0000 |

0 ( ) |

0 (

1 1

1 1

1 2

1 ) |

0 ( ) ( )

0 (

1 = = = ∑ i M i i M P M P y P 因此接收到第一个数字

0 与M1 之间的互信息为: p p y P M y P y M I log

1 2 /

1 log )

0 ( ) |

0 ( log )

0 ;

(

1 1

1 1

1 + = = = = = = 比特 (2)根据已知条件,有221121)0000 |

00 ( ) |

00 ( p y y P M y y P = = = = [ ]

4 1

2 4

2 8

1 ) |

00 ( ) ( )

00 (

2 2

2 1 = + + = = = ∑ p p p p M P M P y y P i M i i 因此接收到第二个数字也是

0 时,得到多少关于 M1 的互信息为: p p y y P M y y P y y M I log

2 2

4 /

1 log )

00 ( ) |

00 ( log )

00 ;

(

2 2

1 1

2 1

2 1

1 + = = = = = = 比特/符号 得到的附加信息为: p y M I y y M I log

1 )

0 ;

( )

00 ;

(

1 1

2 1

1 + = = ? = 比特/符号 (3)根据已知条件,有33211321)000 |

000 ( ) |

000 ( p y y y P M y y y P = = = = [ ]

8 1

3 3

8 1 ) |

000 ( ) ( )

000 (

3 2

2 3

3 2

1 = + + + = = = ∑ p p p p p p M P M P y y y P i M i i 因此接收到第三个数字也是

0 时,得到多少关于 M1 的互信息为: p p y y y P M y y y P y y y M I log

3 3

8 /

1 log )

000 ( ) |

000 ( log )

000 ;

(

3 3

2 1

1 3

2 1

3 2

1 1 + = = = = = = 此时得到的附加信息为: p y y M I y y y M I log

1 )

00 ;

( )

000 ;

(

2 1

1 3

2 1

1 + = = ? = 比特/符号 (4)根据已知条件,有4432114321)0000 |

0000 ( ) |

0000 ( p y y y y P M y y y y P = = = = [ ]

4 2

2 4

4 3

2 1

6 8

1 ) |

0000 ( ) ( )

0000 ( p p p p M P M P y y y y P i M i i + + = = = ∑ 因此接收到第四个符号为

0 时,得到的关于 M1 的互信息为 ( ) ( )

4 2

2 4

4 2

2 4

4 4

3 2

1 1

4 3

2 1

3 2

1 1

6 log log

4 3

6 8

1 log )

0000 ( ) |

0000 ( log )

0000 ;

( p p p p p p p p p p y y y y P M y y y y P y y y M I + + ? + = + + = = = = = 此时得到的附加信息为 ( )

4 2

2 4

3 2

1 1

4 3

2 1

1 6 log log )

000 ;

( )

000 ;

( p p p p p y y y M I y y y y M I + + ? = = ? = 【3.3】 设二元对称信道的传递矩阵为 ? ? ? ? ? ? ? ? ? ?

3 2

3 1

3 1

3 2 (1)若P(0)=3/4,P(1)=1/4,求)(X H , ) | ( Y X H , ) | ( X Y H 和);

(YXI;

(2)求该信道的信道容量及其达到信道容量时的输入概率分布. 解: (1)根据已知条件,有 符号 比特/

811 .

0 4

1 log

4 1

4 3 log

4 3 ) ( log ) ( ) ( = ? ? = ? = ∑ X i i x P x P X H

12 7

3 1

4 1

3 2

4 3 ) |

0 ( ) ( )

0 ( = * + * = = = = ∑ X x y P x P y P

12 5 ) |

1 ( ) ( )

1 ( = = = = ∑ X x y P x P y P

7 6

12 /

7 3

2 4

3 )

0 ( )

0 |

0 ( )

0 ( )

0 |

0 ( = * = = = = = = = = y P x y P x P y x P

7 1 )

0 |

1 ( = = = y x P

5 3

12 /

5 3

1 4

3 )

1 ( )

0 |

1 ( )

0 ( )

1 |

0 ( = * = = = = = = = = y P x y P x P y x P

5 2 )

1 |

1 ( = = = y x P 符号 比特/

918 .

0 3

2 log

3 2

3 1 log

3 1

4 1

3 1 log

3 1

3 2 log

3 2

4 3 ) | ( log ) | ( ) ( ) | ( = ? ? ? ? ? ? + ? ? ? ? ? ? ? + ? = ? = ∑ ∑ X Y x y P x y P x P X Y H 符号 比特/

749 .

0 5

2 log

3 2

7 1 log

3 1

4 1

5 3 log

3 1

7 6 log

3 2

4 3 ) | ( log ) | ( ) ( ) | ( = ? ? ? ? ? ? + ? ? ? ? ? ? ? + ? = ? = ∑ ∑ X Y y x P x y P x P Y X H

062 .

0 ) | ( ) ( ) ;

( = ? = Y X H X H Y X I 比特/符号 (2)此信道是对称信道,因此其信道容量为:

082 .

0 )

3 1 ,

3 2 (

1 ) (

1 = ? = ? = H p H C 比特/符号 根据对称信道的性质可知,当21)1()0(==PP时,信道的传输率 ) ;

( Y X I 达到 信道容量. 【3.4】设有一批电阻, 按阻值分 70%是2kΩ, 30%是5kΩ;

按功耗分 64%是1/8W, 其余是 1/4W.现已知 2kΩ 阻值的电阻中 80%是1/8W.问通过测量阻值可以平 均得到的关于瓦数的信息量是多少? 解: 根据已知条件,设电阻的阻值为事件 X,电阻的功耗为事件 Y,则两事件的 概率空间为: ? ? ? ? ? ? ? = ? = = ? ? ? ? ? ?

3 .

0 7 .

0 5

2 2

1 k x k x P X , ? ? ? ? ? ? = = = ? ? ? ? ? ?

36 .

0 64 .

0 4 /

1 8 /

1 2

1 W y W y P Y 给定条件为

8 .

0 ) | (

1 1 = x y P ,

2 .

0 ) | (

1 2 = x y P ,而)|(*3.08.0*7.0)|()()|()()(64 .

0 2

1 2

1 2

1 1

1 1 x y P x y P x P x y P x P y P + = + = = ) | ( *

3 .

0 2 .

0 *

7 .

0 ) | ( ) ( ) | ( ) ( ) (

36 .

0 2

2 2

2 2

1 2

1 2 x y P x y P x P x y P x P y P + = + = = 解得:

15 4 ) | (

2 1 = x y P ,

15 11 ) | (

2 2 = x y P ( )

7567 .

0 15

11 log

15 11

15 4 log

15 4 *

3 .

0 2 .

0 log

2 .

0 8 .

0 log

8 .

0 *

7 .

0 ) | ( = ? ? ? ? ? ? + ? + ? = X Y H

186 .

0 ) | ( ) ( ) ;

( = ? = X Y H Y H Y X I 比特/符号 【3.5】 若X、Y 和Z是三个随机变量,试证明: (1) ) | ;

( ) ;

( ) | ;

( ) ;

( ) ;

( Z Y X I Z X I Y Z X I Y X I YZ X I + = + = (2) ) | ( ) | ( ) | ;

( ) | ;

( YZ X H Z X H Z X Y I Z Y X I ? = = (3)

0 ) | ;

( ≥ Z Y X I 当且仅当 ) , , ( Y Z X 是马氏链时等式成立. 证明: (1) ) ;

( ) | ;

( ) ( ) | ( log ) , , ( ) | ( ) | ( log ) , , ( ) ( ) | ( ) | ( ) | ( log ) , , ( ) ( ) | ( log ) , , ( ) ;

( , , , , , , , , Y X I Y Z X I x P y x P z y x P y x P yz x P z y x P x P y x P y x P yz x P z y x P x P yz x P z y x P YZ X I Z Y X Z Y X Z Y X Z Y X + = + = ? ? ? ? ? ? ? ? ? = = ∑ ∑ ∑ ∑ 同理, ) | ;

( ) ;

( ) ;

( Z Y X I Z X I YZ X I + = (2) ) | ;

( ) | ( ) | ( log ) , , ( ) ( ) ( ) ( ) ( log ) , , ( ) | ( ) | ( log ) , , ( ) | ;

( , , , , , , Z X Y I z y P xz y P z y x P yz P xz P z P xyz P z y x P z x P yz x P z y x P Z Y X I Z Y X Z Y X Z Y X = = = = ∑ ∑ ∑ ) | ( ) | ( ) | ( log ) , , ( ) | ( log ) , , ( ) | ( ) | ( log ) , , ( ) | ;

( , , , , , , YZ X H Z X H yz x P z y x P z x P z y x P z x P yz x P z y x P Z Y X I Z Y X Z Y X Z Y X ? = + ? = = ∑ ∑ ∑ (3)

0 ) ( ) ( ) ( log ) | ( ) | ( ) , , ( log ) | ( ) | ( log ) , , ( ) | ;

( , , , , , , = = ≤ = ? ∑ ∑ ∑ Z Y X Z Y X Z Y X z P yz P xz P yz x P z x P z y x P yz x P z x P z y x P Z Y X I 等号成立当且仅当)|()|()()()()(1)|()|(xz y P z y P z P xyz P yz P xz P yz x P z x P = = = , 即)|()|(xz y P z y P = ,即),,

(YZX是马氏链. 【3.6】若有三个离散随机变量,有如下关系: Z Y X = + ,其中 X 和Y 相互统计 独立,试证明: (1) ) ( ) ( Z H X H ≤ ,当且仅当Y 是常量时等式成立;

(2) ) ( ) ( Z H Y H ≤ ,当且仅当 X 为常量时等式成立;

(3) ) ( ) ( ) ( ) ( Y H X H XY H Z H + ≤ ≤ ,当且仅当 X ,Y 中任意一个为常量时 等式成立;

(4) ) ( ) ( ) ;

( Y H Z H Z X I ? = ;

(5) ) ( ) ;

( Z H Z XY I = ;

(6) ) ( ) ;

( X H YZ X I = ;

(7) ) ( ) | ;

( Y H X Z Y I = ;

(8) ) | ( ) | ( ) | ;

( Z Y H Z X H Z Y X I = = . 证明: 当ZYX=+时,有???+=+≠=yxzyxzxy z P

1 0 ) | ( , 即0)|(=XY Z H , 而);

()()|(ZXY I Z H XY Z H ? = ,因此 ) ( ) ;

( Z H Z XY I = . ) ( ) ( ) , ( log ) , ( ) ( ) , ( log ) , ( ) | ( log ) , ( ) | ( Y H x P y x P y x P x P z x P z x P x z P z x P X Z H = ? = ? = ? = ∑ ∑ ∑ 而)|()();

(XZHZHZXI?=,因此 ) ( ) ( ) ;

( Y H Z H Z X I ? = . 根据互信息的性质,有0);

(≥ZXI,因此 ) ( ) ( Y H Z H ≥ 成立,而当 X 为常量 时, Z 和X的概率分布相同,因此上述不等式中的等号成立. 同理, ) ( ) ( X H Z H ≥ 成立. 由于)()|()()|()();

(ZHZXY H XY H XY Z H Z H Z XY I = ? = ? = , 而0)|(≥ZXY H ,因此 ) ( ) ( XY H Z H ≤ 成立. 根据条件,有???+=+≠=yxzyxzyz x P

1 0 ) | ( , 因此0)|(=YZ X H , 而)|()();

(YZ X H X H YZ X I ? = ,因此 ) ( ) ;

( X H YZ X I = . ) ( ) | ( ) | ( ) | ( ) | ;

( Y H X Y H XZ Y H X Y H X Z Y I = = ? = ) | ( ) | ( ) | ( ) | ;

( ) | ( ) | ( ) | ( ) | ;

( Z Y H XZ Y H Z Y H Z X Y I Z X H YZ X H Z X H Z Y X I = ? = = = ? = 【3.7】 设X,Y 是两个相互统计独立的二元随机变量,其取

0 或

1 的概率为 等概率分布.定义另一个二元随机变量 Z ,而且 XY Z = (一般乘积) ,试计算: (1) ) (X H , ) (Y H , ) (Z H ;

(2) ) (XY H , ) (XZ H , ) (YZ H , ) (XYZ H ;

(3) ) | ( Y X H , ) | ( Z X H , ) | ( Z Y H , ) | ( X Z H , ) | ( Y Z H ;

(4) ) | ( YZ X H , ) | ( XZ Y H , ) | ( XY Z H ;

(5) ) ;

( Y X I , ) ;

( Z X I , ) ;

( Z Y I ;

(6) ) | ;

( Z Y X I , ) | ;

( Z X Y I , ) | ;

( Y X Z I , ) | ;

( X Y Z I ;

(7) ) ;

( Z XY I , ) ;

( YZ X I , ) ;

( XZ Y I ;

解: 由于 X 和Y 是相互独立的等概率分布的随机变量,因此有

1 ) ( ) ( = = Y H X H 比特/符号 而符号 Z 的概率空间为: ? ? ? ? ? ? ? ? = ? ? ? ? ? ?

4 1

4 3

1 0 P Z ,因此

811 .

0 )

4 1 ,

4 3 ( ) ( = = H Z H 比特/符号

2 ) ( ) ( ) ( = + = Y H X H XY H 比特/符号 根据已知条件可得

2 1 )

0 ( )

0 ,

0 ( = = = = = x P z x P ,

0 )

1 ,

0 ( = = = z x P

4 1 )

0 ,

1 ( )

0 ,

1 ( = = = = = = y x P z x P ,

4 1 )

1 ,

1 ( )

1 ,

1 ( = = = = = = y x P z x P

1 )

0 ( )

0 ,

0 ( )

0 |

0 ( = = = = = = = x P x z P x z P ,

0 )

0 ( )

0 ,

1 ( )

0 |

1 ( = = = = = = = x P x z P x z P

2 1 )

1 ( )

1 ,

0 ( )

1 |

0 ( = = = = = = = x P x z P x z P ,

2 1 )

1 ( )

1 ,

1 ( )

1 |

1 ( = = = = = = = x P x z P x z P

5 .

0 2

1 log

4 1

2 1 log

4 1

1 log

2 1 ) | ( log ) , ( ) | ( = ? ? ? = ? = ∑ x z P z x P X Z H 比特/符号

5 .

1 ) | ( ) ( ) ( = + = X Z H X H XZ H 比特/符号 同理,

5 .

0 ) | ........