杭州紫金港培训学校(紫金港专升本)杭州紫金港培训学校(紫金港专升本)
同等学力申硕信息与通信工程学科综合考前辅导第三门 现代通信原理(选考)第 16 节 / 共 32 节约 30 分钟报名学员看全文

现代通信原理(一):信息论初步

对应现代通信原理(一)信息论初步:离散信源的熵、条件熵、联合熵与互信息量,连续信源的熵,有扰信道的信息传输与信道容量,香农信道容量公式。

本节考点:离散信源的熵条件熵与联合熵互信息量连续信源的熵信道容量香农公式

本节导读

这一节对应现代通信原理「(一)信息论初步」四条:

  1. 离散信源的熵,条件熵,联合熵(共熵),互信息量。
  2. 连续信源的熵,互信息量。
  3. 有扰信道的信息传输,信道容量。
  4. 香农(Shannon)信道容量公式。

这一部分在大纲里没有再分小节,篇幅不大,却是整门课的「尺子」:一个信源到底含多少信息、一条信道最多能传多快,都用这里的量来衡量。学完要做到:会算离散信源的熵和信息速率;会用几个熵之间的关系式求条件熵、联合熵和互信息;知道连续信源的熵为什么可以是负数;会求二进制对称信道的容量;会用香农公式做正反两个方向的计算。

信息量与离散信源的熵

一个消息出现的概率越小,它带来的「意外」越大,信息也越多。单个消息 xix_ixi​ 的自信息量定义为

I(xi)=−log⁡2P(xi)I(x_i)=-\log_2 P(x_i)I(xi​)=−log2​P(xi​)

对数以 2 为底时单位是比特(bit),以 e 为底时是奈特(nat),以 10 为底时是哈特莱;1 nat 约等于 1.443 bit。两个相互独立的消息同时出现,自信息量相加。

离散信源 XXX 有 MMM 种符号,每个符号平均携带的信息量就是熵:

H(X)=−∑i=1MP(xi)log⁡2P(xi)H(X)=-\sum_{i=1}^{M}P(x_i)\log_2 P(x_i)H(X)=−i=1∑M​P(xi​)log2​P(xi​)

单位是 bit/符号。几条性质:

  • H(X)≥0H(X)\ge 0H(X)≥0;某个符号的概率为 1 时 H(X)=0H(X)=0H(X)=0,信源没有任何不确定性。
  • MMM 种符号等概率出现时熵最大,Hmax⁡=log⁡2MH_{\max}=\log_2 MHmax​=log2​M;实际熵比最大值低出的部分叫冗余。
  • 信源每秒发 RBR_{\mathrm B}RB​ 个符号(码元速率,单位 Baud),信息速率 Rb=RBH(X)R_{\mathrm b}=R_{\mathrm B}H(X)Rb​=RB​H(X),单位 bit/s。

只有两种符号、概率为 ppp 与 1−p1-p1−p 时,熵写成二元熵函数:

H(p)=−plog⁡2p−(1−p)log⁡2(1−p)H(p)=-p\log_2 p-(1-p)\log_2(1-p)H(p)=−plog2​p−(1−p)log2​(1−p)

它在 p=0.5p=0.5p=0.5 处取最大值 1,在 p=0p=0p=0 或 p=1p=1p=1 处为 0,图形关于 p=0.5p=0.5p=0.5 对称。后面求二进制信道的容量要反复用到它。

条件熵、联合熵与互信息

把信道的输入看成随机变量 XXX,输出看成 YYY。四个量的定义和含义:

量定义含义
联合熵(共熵)H(X,Y)H(X,Y)H(X,Y)−∑i∑jP(xi,yj)log⁡2P(xi,yj)-\sum_i\sum_j P(x_i,y_j)\log_2 P(x_i,y_j)−∑i​∑j​P(xi​,yj​)log2​P(xi​,yj​)输入、输出合在一起的平均不确定性
条件熵 H(X∣Y)H(X\mid Y)H(X∣Y)−∑i∑jP(xi,yj)log⁡2P(xi∣yj)-\sum_i\sum_j P(x_i,y_j)\log_2 P(x_i\mid y_j)−∑i​∑j​P(xi​,yj​)log2​P(xi​∣yj​)收到 YYY 之后对 XXX 仍然存在的不确定性,叫疑义度或损失熵
条件熵 H(Y∣X)H(Y\mid X)H(Y∣X)−∑i∑jP(xi,yj)log⁡2P(yj∣xi)-\sum_i\sum_j P(x_i,y_j)\log_2 P(y_j\mid x_i)−∑i​∑j​P(xi​,yj​)log2​P(yj​∣xi​)输入已知时输出的不确定性,全由噪声造成,叫噪声熵或散布度
平均互信息 I(X;Y)I(X;Y)I(X;Y)H(X)−H(X∣Y)H(X)-H(X\mid Y)H(X)−H(X∣Y)收到 YYY 之后平均得到的关于 XXX 的信息量

它们之间的关系(画两个相交的圆最好记:两圆各是 H(X)H(X)H(X)、H(Y)H(Y)H(Y),交叠部分是互信息,并集是联合熵):

H(X,Y)=H(X)+H(Y∣X)=H(Y)+H(X∣Y)I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=H(X)+H(Y)−H(X,Y)\begin{aligned} H(X,Y)&=H(X)+H(Y\mid X) \\ &=H(Y)+H(X\mid Y) \\ I(X;Y)&=H(X)-H(X\mid Y) \\ &=H(Y)-H(Y\mid X) \\ &=H(X)+H(Y)-H(X,Y) \end{aligned}H(X,Y)I(X;Y)​=H(X)+H(Y∣X)=H(Y)+H(X∣Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=H(X)+H(Y)−H(X,Y)​
  • 互信息是对称的:I(X;Y)=I(Y;X)I(X;Y)=I(Y;X)I(X;Y)=I(Y;X);平均互信息非负,XXX 与 YYY 相互独立时为 0。
  • H(X∣Y)≤H(X)H(X\mid Y)\le H(X)H(X∣Y)≤H(X):平均来说,多知道一个量不会让不确定性增加。
  • 求互信息时,先由输入分布和转移概率算出输出分布,再用 H(Y)−H(Y∣X)H(Y)-H(Y\mid X)H(Y)−H(Y∣X) 计算,通常比求后验概率省事。

连续信源的熵

连续随机变量取任何一个确定值的概率都是 0。把离散熵的式子对连续变量取极限,会多出一个与分布无关的无穷大项;去掉这一项,剩下的部分定义为相对熵(也叫微分熵):

h(X)=−∫−∞∞f(x)log⁡2f(x) dxh(X)=-\int_{-\infty}^{\infty}f(x)\log_2 f(x)\,\mathrm dxh(X)=−∫−∞∞​f(x)log2​f(x)dx
  • 相对熵不再是不确定性的绝对度量:它可以为负,而且把变量放大或缩小,它会跟着变。区间 (a,b)(a,b)(a,b) 上的均匀分布 h=log⁡2(b−a)h=\log_2(b-a)h=log2​(b−a),区间长度不到 1 时就是负数。
  • 两个连续量之间的互信息 I(X;Y)=h(X)−h(X∣Y)I(X;Y)=h(X)-h(X\mid Y)I(X;Y)=h(X)−h(X∣Y),两个无穷大项正好相互抵消,所以连续情形的互信息仍然非负、有明确的意义。
  • 峰值受限时,均匀分布的相对熵最大;平均功率受限时,正态分布的相对熵最大,等于 12log⁡2(2πeσ2)\tfrac12\log_2(2\pi\mathrm e\sigma^2)21​log2​(2πeσ2)。所以在同样的噪声功率下,高斯噪声对通信最不利;在同样的信号功率下,类高斯的信号最能「装」信息。香农公式正是在这两个条件下得到的。

有扰信道的信息传输与信道容量

离散信道由转移概率 P(yj∣xi)P(y_j\mid x_i)P(yj​∣xi​) 描述。信源每个符号发出 H(X)H(X)H(X) 的信息,噪声「吞掉」了其中的 H(X∣Y)H(X\mid Y)H(X∣Y),接收端平均每个符号得到

I(X;Y)=H(X)−H(X∣Y)I(X;Y)=H(X)-H(X\mid Y)I(X;Y)=H(X)−H(X∣Y)

每秒传 rrr 个符号时,信息传输速率 R=r I(X;Y)R=r\,I(X;Y)R=rI(X;Y)。

互信息与输入分布有关。对所有可能的输入分布取最大值,就是信道容量:

C=max⁡P(X)I(X;Y)C=\max_{P(X)}I(X;Y)C=P(X)max​I(X;Y)

单位 bit/符号;乘以符号速率得到每秒的容量 Ct=rCC_t=rCCt​=rC。取过最大值以后,CCC 只由信道的转移概率决定。

二进制对称信道(BSC):两种符号出错的概率都是 ppp。输入等概率时互信息最大,

C=1−H(p)C=1-H(p)C=1−H(p)

p=0p=0p=0 时 C=1C=1C=1;p=0.5p=0.5p=0.5 时输出与输入无关,C=0C=0C=0;ppp 超过 0.5 后容量又回升,p=1p=1p=1 时把收到的符号全部取反即可无差错传输。

本节后面还有约 2366 字:报名学员看全文

每门课前 10 节免费看全文;从第 11 节起,完整教程要报名后由顾问在后台为你的账号开通才能看。

题库账号可以直接登录,但第 11 节起的完整教程要报名后由后台开通才能看。

学完练一练

按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。第 11 节起的课后练习报名学员才能练。

本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。

我要提问免费报名咨询