杭州紫金港培训学校(紫金港专升本)杭州紫金港培训学校(紫金港专升本)
同等学力申硕信息与通信工程学科综合考前辅导第一门 随机数学(必选)第 4 节 / 共 32 节约 25 分钟免费

概率论基础(三):大数定理与中心极限定理

对应随机数学(四)极限定理及其应用:切比雪夫不等式与依概率收敛,切比雪夫、贝努利、辛钦三个大数定理,列维-林德伯格中心极限定理与棣莫弗-拉普拉斯积分极限定理,频率稳定性及其在误码统计、仿真中的应用。

本节考点:切比雪夫不等式大数定理中心极限定理棣莫弗-拉普拉斯定理频率稳定性

本节导读

这一节是概率论基础的最后一部分,对应「(四)极限定理及其应用」三条:

  1. 大数定理:切比雪夫定理、贝努利大数定理、独立同分布时的辛钦(khinchine)大数定理及其应用。
  2. 中心极限定理:独立同分布时列维-林德伯格(Levy-Lindberg)中心极限定理及棣莫弗-拉普拉斯(De Moivre-Laplace)积分极限定理及其应用。
  3. 频率稳定性。

括号里的外文名照大纲原文,通行拼写是 Khinchin(也作 Khintchine)、Lindeberg-Lévy;「贝努利」现在多写作「伯努利」,是同一个人。

学完要做到:会用切比雪夫不等式估计概率的界;分清三个大数定理各自的条件;会用中心极限定理近似计算和的概率,会用棣莫弗-拉普拉斯定理近似二项分布;能用频率稳定性解释「用统计频率估计误码率」为什么可行,并估算需要的试验次数。本节 Φ(x)\Phi(x)Φ(x) 是标准正态分布函数,ε\varepsilonε 是任意给定的正数。

切比雪夫不等式与依概率收敛

对方差存在的随机变量 XXX,任给 ε>0\varepsilon\gt 0ε>0:

P{∣X−E(X)∣≥ε}≤D(X)ε2P\{\lvert X-E(X)\rvert\ge\varepsilon\}\le\frac{D(X)}{\varepsilon^2}P{∣X−E(X)∣≥ε}≤ε2D(X)​

等价地 P{∣X−E(X)∣<ε}≥1−D(X)ε2P\{\lvert X-E(X)\rvert\lt\varepsilon\}\ge 1-\dfrac{D(X)}{\varepsilon^2}P{∣X−E(X)∣<ε}≥1−ε2D(X)​。它只用到期望和方差,不管分布是什么都成立,代价是估计偏保守。

依概率收敛:若对任意 ε>0\varepsilon\gt 0ε>0 有 lim⁡n→∞P{∣Yn−a∣<ε}=1\lim\limits_{n\to\infty}P\{\lvert Y_n-a\rvert\lt\varepsilon\}=1n→∞lim​P{∣Yn​−a∣<ε}=1,称 YnY_nYn​ 依概率收敛于 aaa。它说的是「偏离 aaa 超过 ε\varepsilonε 的概率趋于 0」,不是说 YnY_nYn​ 的每一个取值序列都收敛到 aaa。

三个大数定理

记 X‾n=1n∑i=1nXi\overline{X}_n=\dfrac1n\sum_{i=1}^{n}X_iXn​=n1​∑i=1n​Xi​。三个定理的结论都是「平均值依概率收敛于期望」,区别在条件:

定理条件结论
切比雪夫定理X1,X2,⋯X_1,X_2,\cdotsX1​,X2​,⋯ 两两不相关,方差有公共上界X‾n−1n∑E(Xi)\overline{X}_n-\dfrac1n\sum E(X_i)Xn​−n1​∑E(Xi​) 依概率收敛于 0
贝努利大数定理nnn 重伯努利试验,事件 AAA 每次发生概率为 ppp频率 nAn\dfrac{n_A}{n}nnA​​ 依概率收敛于 ppp
辛钦大数定理X1,X2,⋯X_1,X_2,\cdotsX1​,X2​,⋯ 独立同分布,期望 μ\muμ 存在X‾n\overline{X}_nXn​ 依概率收敛于 μ\muμ

切比雪夫定理不要求同分布,但要方差有界,证明就是对 X‾n\overline{X}_nXn​ 用切比雪夫不等式。贝努利大数定理是它的特例。辛钦定理要求独立同分布,但只要求期望存在。

辛钦定理的常见用法:把 XiX_iXi​ 换成 XikX_i^kXik​,得到「样本的 kkk 阶原点矩依概率收敛于总体的 kkk 阶原点矩」(只要它存在)。这正是第 8 节矩估计的依据。

中心极限定理

列维-林德伯格定理:X1,X2,⋯X_1,X_2,\cdotsX1​,X2​,⋯ 独立同分布,E(Xi)=μE(X_i)=\muE(Xi​)=μ,D(Xi)=σ2>0D(X_i)=\sigma^2\gt 0D(Xi​)=σ2>0,则对任意 xxx:

lim⁡n→∞P{∑i=1nXi−nμn σ≤x}=Φ(x)\lim_{n\to\infty}P\Big\{\frac{\sum_{i=1}^{n}X_i-n\mu}{\sqrt n\,\sigma}\le x\Big\}=\Phi(x)n→∞lim​P{n​σ∑i=1n​Xi​−nμ​≤x}=Φ(x)

也就是说,nnn 较大时 ∑Xi\sum X_i∑Xi​ 近似服从 N(nμ,nσ2)N(n\mu,n\sigma^2)N(nμ,nσ2),不管 XiX_iXi​ 本身是什么分布。

棣莫弗-拉普拉斯积分极限定理:Yn∼B(n,p)Y_n\sim B(n,p)Yn​∼B(n,p),0<p<10\lt p\lt 10<p<1,则

lim⁡n→∞P{Yn−npnp(1−p)≤x}=Φ(x)\lim_{n\to\infty}P\Big\{\frac{Y_n-np}{\sqrt{np(1-p)}}\le x\Big\}=\Phi(x)n→∞lim​P{np(1−p)​Yn​−np​≤x}=Φ(x)

它是前一个定理用在 0—1 变量之和上的特例,用来近似二项分布:P{a<Yn≤b}≈Φ(b−npnp(1−p))−Φ(a−npnp(1−p))P\{a\lt Y_n\le b\}\approx\Phi\Big(\dfrac{b-np}{\sqrt{np(1-p)}}\Big)-\Phi\Big(\dfrac{a-np}{\sqrt{np(1-p)}}\Big)P{a<Yn​≤b}≈Φ(np(1−p)​b−np​)−Φ(np(1−p)​a−np​)。nnn 很大而 ppp 很小、npnpnp 适中时,用泊松分布近似更准。

频率稳定性

大量重复同一个试验,事件发生的频率会在概率附近摆动,试验次数越多摆动越小,这就是频率稳定性。贝努利大数定理给了它严格的表述,也是「用频率估计概率」的根据:通信里用大量比特统计误码率,仿真里用大量随机试验估计一个概率(蒙特卡罗方法),都靠它。

试验要做多少次,可以用两个定理估计。要求频率与概率之差小于 ε\varepsilonε 的概率不低于 1−δ1-\delta1−δ:

  • 切比雪夫不等式:P{∣nAn−p∣≥ε}≤p(1−p)nε2≤14nε2P\Big\{\Big\lvert\dfrac{n_A}{n}-p\Big\rvert\ge\varepsilon\Big\}\le\dfrac{p(1-p)}{n\varepsilon^2}\le\dfrac{1}{4n\varepsilon^2}P{​nnA​​−p​≥ε}≤nε2p(1−p)​≤4nε21​,令它不超过 δ\deltaδ 解出 nnn;
  • 中心极限定理:P{∣nAn−p∣<ε}≈2Φ(εnp(1−p))−1P\Big\{\Big\lvert\dfrac{n_A}{n}-p\Big\rvert\lt\varepsilon\Big\}\approx 2\Phi\Big(\varepsilon\sqrt{\dfrac{n}{p(1-p)}}\Big)-1P{​nnA​​−p​<ε}≈2Φ(εp(1−p)n​​)−1,所需 nnn 小得多。

两种算法给出的 nnn 不同:前者是保证不等式成立的保守值,后者是近似值。要估计很小的误码率(如 10−610^{-6}10−6)时,需要的比特数与 1/p1/p1/p 同量级甚至更多。

易错提醒

  • ❌ 大数定理说明,试验次数足够多时频率就等于概率。
    ✅ 频率是依概率收敛于概率:偏差超过任意小正数的可能性趋于 0,但每一次具体试验的频率仍有偏差。

  • ❌ 中心极限定理要求每个 XiX_iXi​ 本身服从正态分布。
    ✅ 定理不要求 XiX_iXi​ 是正态,各项相互独立、分布相同、方差有限就够了,这正是它有用的地方。

  • ❌ 二项分布只要 nnn 很大,就一律用正态分布近似。
    ✅ ppp 很小、npnpnp 只有几的时候(如 n=2000n=2000n=2000、p=0.001p=0.001p=0.001),用泊松分布近似更准;npnpnp 与 n(1−p)n(1-p)n(1−p) 都比较大时才用正态近似。

例题精讲

例题 1(计算:切比雪夫不等式估计区间概率)

某网关每秒到达的分组数 XXX 的期望为 200、方差为 100,分布未知。估计每秒到达数在 170 到 230 之间(不含端点)的概率至少是多少。

解:P{170<X<230}=P{∣X−200∣<30}≥1−100302=89≈0.889P\{170\lt X\lt 230\}=P\{\lvert X-200\rvert\lt 30\}\ge 1-\dfrac{100}{30^2}=\dfrac89\approx 0.889P{170<X<230}=P{∣X−200∣<30}≥1−302100​=98​≈0.889。

点评:分布未知时只能用切比雪夫不等式,得到的是下界;若已知近似正态,概率会接近 0.997。

例题 2(计算:棣莫弗-拉普拉斯近似误码个数)

某信道每个码元出错的概率为 0.1,各码元独立。发送 900 个码元,用棣莫弗-拉普拉斯定理估计出错码元不超过 99 个的概率(Φ(1)=0.8413\Phi(1)=0.8413Φ(1)=0.8413)。

解:出错个数 Y∼B(900,0.1)Y\sim B(900,0.1)Y∼B(900,0.1),np=90np=90np=90,np(1−p)=81=9\sqrt{np(1-p)}=\sqrt{81}=9np(1−p)​=81​=9。P{Y≤99}≈Φ(99−909)=Φ(1)=0.8413P\{Y\le 99\}\approx\Phi\Big(\dfrac{99-90}{9}\Big)=\Phi(1)=0.8413P{Y≤99}≈Φ(999−90​)=Φ(1)=0.8413。

点评:标准差是 np(1−p)\sqrt{np(1-p)}np(1−p)​,不是 np(1−p)np(1-p)np(1−p);问「不超过」只取一侧,问「在某区间内」才两侧相减。

本节小结

  • 切比雪夫不等式 P{∣X−EX∣≥ε}≤D(X)/ε2P\{\lvert X-EX\rvert\ge\varepsilon\}\le D(X)/\varepsilon^2P{∣X−EX∣≥ε}≤D(X)/ε2,不需要知道分布。
  • 三个大数定理:切比雪夫(不相关、方差有界)、贝努利(频率)、辛钦(独立同分布、期望存在)。
  • 列维-林德伯格:独立同分布、方差有限,和近似 N(nμ,nσ2)N(n\mu,n\sigma^2)N(nμ,nσ2);棣莫弗-拉普拉斯近似二项分布。
  • 频率稳定性是用频率估计概率的依据;所需试验次数可用切比雪夫不等式(保守)或中心极限定理(近似)估计。

学完练一练

按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。

本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。

我要提问免费报名咨询