PPT《*》

P(x) ? ,I ?;

P(x) = 1时,I = 0;

P(x) = 0时,I = ?;

满足上述条件的关系式如下:-信息量的定义 * 第1章 绪论 上式中对数的底: 若a = 2,信息量的单位称为比特(bit) ,可简记为b 若a = e,信息量的单位称为奈特(nat), 若a=10,信息量的单位称为哈特莱(Hartley) .通常广泛使用的单位为比特,这时有(b)【例】 设一个二进制离散信源,以相等的概率发送数字

0 或

1 ,则信源每个输出的信息含量为 在工程应用中,习惯把一个二进制码元称作1比特 * 第1章 绪论 若有M个等概率波形(P = 1/M),且每一个波形的出现是独立的,则传送M进制波形之一的信息量为若M是2的整幂次,即M=2k,则有当M = 4时,即4进制波形,I = 2比特,当M = 8时,即8进制波形,I = 3比特. * 第1章 绪论 对于非等概率情况设:一个离散信源是由M个符号组成的集合,其中每个符号xi (i = 1, 2, 3, …, M)按一定的概率P(xi)独立出现,即 且有则x1 , x2, x3,…, xM 所包含的信息量分别为于是,每个符号所含平均信息量为由于H(x)同热力学中的熵形式相似,故称它为信息源的熵 * 第1章 绪论 【例1】 一离散信源由

0 ,

1 ,

2 ,

3 四个符号组成,它们出现的概率分别为3/8,1/4,1/4,1/8,且每个符号的出现都是独立的.试求某消息2010201302101203210100321010023102002010312032100120210的信息量.【解】此消息中,

0 出现23次,

1 出现14次,

2 出现13次,

3 出现7次,共有57个符号,故该消息的信息量 * 第1章 绪论 【例1】 一离散信源由

0 ,

1 ,

2 ,

3 四个符号组成,它们出现的概率分别为3/8,1/4,1/4,1/8,且每个符号的出现都是独立的.试求某消息2010201302101203210100321010023102002010312032100120210的信息量.【解】此消息中,

0 出现23次,

1 出现14次,

2 出现13次,

3 出现7次,共有57个符号,故该消息的信息量每个符号的算术平均信息量为 * 第1章 绪论 若用熵的概念来计算:则该消息的信息量 * 第1章 绪论 连续消息的信息量关于连续消息的信息量可以用概率密度函数来描述.可以证明,连续消息的平均信息量为式中,f (x) - 连续消息出现的概率密度. * 第1章 绪论 1.5 通信系统主要性能指标有效性和可靠性有效性:指传输一定信息量时所占用的信道资源(频带宽度和时间间隔),或者说是传输的 速度 问题.可靠性:指接收信息的准确程度,也就是传输的 质量 问题. * 模拟通信系统有效性可用有效传输频带宽来度量,同样的消息用不同的调制方式,则需要不同的频带宽度.可靠性用接收端最终输出信噪比来度量.不同调制方式在同样信道信噪比下所得到的最终解调后的信噪比是不同的.如调频信号抗干扰能力比调幅好,但调频信号所需传输频带却宽于调幅. 第1章 绪论 * 实际模拟通信系统中存在两种干扰:加性干扰:信号在传输时叠加上的噪声引起的干扰,始终存在乘性干扰:由于信道传输特性不理想引起的干扰,随信号消失而消失主要研究加性干扰的影响,讨论输出信噪比: 分贝(db)= 电话信噪比一般不低于40db,电视输出信噪比不低于60db 第1章 绪论 * 数字通信系统:有效性:信道传输信息的速度快慢和频带利用率;

可靠性:信道传输信息的准确程度.有效性和可靠性的关系(速度~质量) 第1章 绪论 * 传输速率1: 码元速率RB :单位时间(s)内传输的码元数目,又称传码率,单位是波特(Baud),记为B. 例如,若1秒内传2400个码元,则传码率为2400B. 码元速率与传输的码元长度T有关: 由于M进制的一个码元可以用( log2M)个二进制码元去表示,因而,M进制的码元速率RBM与二进制的码元速率RB2之间有以下转换关系:RB2=RBMlog2 M (B) * 传输速率2: 信息速率Rb,简称传信率,又称比特率等.它表示单位时间内传递的平均信息量或比特数,单位是比特/秒,可记为bit/s ,或b/s ,或bps.每个码元或符号通常都含有一定bit数的信息量,因此码元速率和信息速率有确定的关系,即Rb=RB・H (b/s) 式中,H为信源中每个符号所含的平均信息量(熵). 等概传输时,熵有最大值log2M,信息速率也达到最大,即Rb=RB log2 M (b/s) 或RB= M为符号的进制数. * 第1章 绪论 频带利用率:定义为单位带宽(1赫兹)内的传输速率,即或可靠性:常用误码率和误信率表示.误码率误信率,又称误比特率在二进制中有 ........