现代通信原理(一):信息论初步
对应现代通信原理(一)信息论初步:离散信源的熵、条件熵、联合熵与互信息量,连续信源的熵,有扰信道的信息传输与信道容量,香农信道容量公式。
本节导读
这一节对应现代通信原理「(一)信息论初步」四条:
- 离散信源的熵,条件熵,联合熵(共熵),互信息量。
- 连续信源的熵,互信息量。
- 有扰信道的信息传输,信道容量。
- 香农(Shannon)信道容量公式。
这一部分在大纲里没有再分小节,篇幅不大,却是整门课的「尺子」:一个信源到底含多少信息、一条信道最多能传多快,都用这里的量来衡量。学完要做到:会算离散信源的熵和信息速率;会用几个熵之间的关系式求条件熵、联合熵和互信息;知道连续信源的熵为什么可以是负数;会求二进制对称信道的容量;会用香农公式做正反两个方向的计算。
信息量与离散信源的熵
一个消息出现的概率越小,它带来的「意外」越大,信息也越多。单个消息 xi 的自信息量定义为
I(xi)=−log2P(xi)对数以 2 为底时单位是比特(bit),以 e 为底时是奈特(nat),以 10 为底时是哈特莱;1 nat 约等于 1.443 bit。两个相互独立的消息同时出现,自信息量相加。
离散信源 X 有 M 种符号,每个符号平均携带的信息量就是熵:
H(X)=−i=1∑MP(xi)log2P(xi)单位是 bit/符号。几条性质:
- H(X)≥0;某个符号的概率为 1 时 H(X)=0,信源没有任何不确定性。
- M 种符号等概率出现时熵最大,Hmax=log2M;实际熵比最大值低出的部分叫冗余。
- 信源每秒发 RB 个符号(码元速率,单位 Baud),信息速率 Rb=RBH(X),单位 bit/s。
只有两种符号、概率为 p 与 1−p 时,熵写成二元熵函数:
H(p)=−plog2p−(1−p)log2(1−p)它在 p=0.5 处取最大值 1,在 p=0 或 p=1 处为 0,图形关于 p=0.5 对称。后面求二进制信道的容量要反复用到它。
条件熵、联合熵与互信息
把信道的输入看成随机变量 X,输出看成 Y。四个量的定义和含义:
| 量 | 定义 | 含义 |
|---|---|---|
| 联合熵(共熵)H(X,Y) | −∑i∑jP(xi,yj)log2P(xi,yj) | 输入、输出合在一起的平均不确定性 |
| 条件熵 H(X∣Y) | −∑i∑jP(xi,yj)log2P(xi∣yj) | 收到 Y 之后对 X 仍然存在的不确定性,叫疑义度或损失熵 |
| 条件熵 H(Y∣X) | −∑i∑jP(xi,yj)log2P(yj∣xi) | 输入已知时输出的不确定性,全由噪声造成,叫噪声熵或散布度 |
| 平均互信息 I(X;Y) | H(X)−H(X∣Y) | 收到 Y 之后平均得到的关于 X 的信息量 |
它们之间的关系(画两个相交的圆最好记:两圆各是 H(X)、H(Y),交叠部分是互信息,并集是联合熵):
H(X,Y)I(X;Y)=H(X)+H(Y∣X)=H(Y)+H(X∣Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=H(X)+H(Y)−H(X,Y)- 互信息是对称的:I(X;Y)=I(Y;X);平均互信息非负,X 与 Y 相互独立时为 0。
- H(X∣Y)≤H(X):平均来说,多知道一个量不会让不确定性增加。
- 求互信息时,先由输入分布和转移概率算出输出分布,再用 H(Y)−H(Y∣X) 计算,通常比求后验概率省事。
连续信源的熵
连续随机变量取任何一个确定值的概率都是 0。把离散熵的式子对连续变量取极限,会多出一个与分布无关的无穷大项;去掉这一项,剩下的部分定义为相对熵(也叫微分熵):
h(X)=−∫−∞∞f(x)log2f(x)dx- 相对熵不再是不确定性的绝对度量:它可以为负,而且把变量放大或缩小,它会跟着变。区间 (a,b) 上的均匀分布 h=log2(b−a),区间长度不到 1 时就是负数。
- 两个连续量之间的互信息 I(X;Y)=h(X)−h(X∣Y),两个无穷大项正好相互抵消,所以连续情形的互信息仍然非负、有明确的意义。
- 峰值受限时,均匀分布的相对熵最大;平均功率受限时,正态分布的相对熵最大,等于 21log2(2πeσ2)。所以在同样的噪声功率下,高斯噪声对通信最不利;在同样的信号功率下,类高斯的信号最能「装」信息。香农公式正是在这两个条件下得到的。
有扰信道的信息传输与信道容量
离散信道由转移概率 P(yj∣xi) 描述。信源每个符号发出 H(X) 的信息,噪声「吞掉」了其中的 H(X∣Y),接收端平均每个符号得到
I(X;Y)=H(X)−H(X∣Y)每秒传 r 个符号时,信息传输速率 R=rI(X;Y)。
互信息与输入分布有关。对所有可能的输入分布取最大值,就是信道容量:
C=P(X)maxI(X;Y)单位 bit/符号;乘以符号速率得到每秒的容量 Ct=rC。取过最大值以后,C 只由信道的转移概率决定。
二进制对称信道(BSC):两种符号出错的概率都是 p。输入等概率时互信息最大,
C=1−H(p)p=0 时 C=1;p=0.5 时输出与输入无关,C=0;p 超过 0.5 后容量又回升,p=1 时把收到的符号全部取反即可无差错传输。
本节后面还有约 2366 字:报名学员看全文
每门课前 10 节免费看全文;从第 11 节起,完整教程要报名后由顾问在后台为你的账号开通才能看。
题库账号可以直接登录,但第 11 节起的完整教程要报名后由后台开通才能看。
学完练一练
按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。第 11 节起的课后练习报名学员才能练。
本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。