概率论基础(三):大数定理与中心极限定理
对应随机数学(四)极限定理及其应用:切比雪夫不等式与依概率收敛,切比雪夫、贝努利、辛钦三个大数定理,列维-林德伯格中心极限定理与棣莫弗-拉普拉斯积分极限定理,频率稳定性及其在误码统计、仿真中的应用。
本节导读
这一节是概率论基础的最后一部分,对应「(四)极限定理及其应用」三条:
- 大数定理:切比雪夫定理、贝努利大数定理、独立同分布时的辛钦(khinchine)大数定理及其应用。
- 中心极限定理:独立同分布时列维-林德伯格(Levy-Lindberg)中心极限定理及棣莫弗-拉普拉斯(De Moivre-Laplace)积分极限定理及其应用。
- 频率稳定性。
括号里的外文名照大纲原文,通行拼写是 Khinchin(也作 Khintchine)、Lindeberg-Lévy;「贝努利」现在多写作「伯努利」,是同一个人。
学完要做到:会用切比雪夫不等式估计概率的界;分清三个大数定理各自的条件;会用中心极限定理近似计算和的概率,会用棣莫弗-拉普拉斯定理近似二项分布;能用频率稳定性解释「用统计频率估计误码率」为什么可行,并估算需要的试验次数。本节 Φ(x) 是标准正态分布函数,ε 是任意给定的正数。
切比雪夫不等式与依概率收敛
对方差存在的随机变量 X,任给 ε>0:
P{∣X−E(X)∣≥ε}≤ε2D(X)等价地 P{∣X−E(X)∣<ε}≥1−ε2D(X)。它只用到期望和方差,不管分布是什么都成立,代价是估计偏保守。
依概率收敛:若对任意 ε>0 有 n→∞limP{∣Yn−a∣<ε}=1,称 Yn 依概率收敛于 a。它说的是「偏离 a 超过 ε 的概率趋于 0」,不是说 Yn 的每一个取值序列都收敛到 a。
三个大数定理
记 Xn=n1∑i=1nXi。三个定理的结论都是「平均值依概率收敛于期望」,区别在条件:
| 定理 | 条件 | 结论 |
|---|---|---|
| 切比雪夫定理 | X1,X2,⋯ 两两不相关,方差有公共上界 | Xn−n1∑E(Xi) 依概率收敛于 0 |
| 贝努利大数定理 | n 重伯努利试验,事件 A 每次发生概率为 p | 频率 nnA 依概率收敛于 p |
| 辛钦大数定理 | X1,X2,⋯ 独立同分布,期望 μ 存在 | Xn 依概率收敛于 μ |
切比雪夫定理不要求同分布,但要方差有界,证明就是对 Xn 用切比雪夫不等式。贝努利大数定理是它的特例。辛钦定理要求独立同分布,但只要求期望存在。
辛钦定理的常见用法:把 Xi 换成 Xik,得到「样本的 k 阶原点矩依概率收敛于总体的 k 阶原点矩」(只要它存在)。这正是第 8 节矩估计的依据。
中心极限定理
列维-林德伯格定理:X1,X2,⋯ 独立同分布,E(Xi)=μ,D(Xi)=σ2>0,则对任意 x:
n→∞limP{nσ∑i=1nXi−nμ≤x}=Φ(x)也就是说,n 较大时 ∑Xi 近似服从 N(nμ,nσ2),不管 Xi 本身是什么分布。
棣莫弗-拉普拉斯积分极限定理:Yn∼B(n,p),0<p<1,则
n→∞limP{np(1−p)Yn−np≤x}=Φ(x)它是前一个定理用在 0—1 变量之和上的特例,用来近似二项分布:P{a<Yn≤b}≈Φ(np(1−p)b−np)−Φ(np(1−p)a−np)。n 很大而 p 很小、np 适中时,用泊松分布近似更准。
频率稳定性
大量重复同一个试验,事件发生的频率会在概率附近摆动,试验次数越多摆动越小,这就是频率稳定性。贝努利大数定理给了它严格的表述,也是「用频率估计概率」的根据:通信里用大量比特统计误码率,仿真里用大量随机试验估计一个概率(蒙特卡罗方法),都靠它。
试验要做多少次,可以用两个定理估计。要求频率与概率之差小于 ε 的概率不低于 1−δ:
- 切比雪夫不等式:P{nnA−p≥ε}≤nε2p(1−p)≤4nε21,令它不超过 δ 解出 n;
- 中心极限定理:P{nnA−p<ε}≈2Φ(εp(1−p)n)−1,所需 n 小得多。
两种算法给出的 n 不同:前者是保证不等式成立的保守值,后者是近似值。要估计很小的误码率(如 10−6)时,需要的比特数与 1/p 同量级甚至更多。
易错提醒
-
❌ 大数定理说明,试验次数足够多时频率就等于概率。
✅ 频率是依概率收敛于概率:偏差超过任意小正数的可能性趋于 0,但每一次具体试验的频率仍有偏差。 -
❌ 中心极限定理要求每个 Xi 本身服从正态分布。
✅ 定理不要求 Xi 是正态,各项相互独立、分布相同、方差有限就够了,这正是它有用的地方。 -
❌ 二项分布只要 n 很大,就一律用正态分布近似。
✅ p 很小、np 只有几的时候(如 n=2000、p=0.001),用泊松分布近似更准;np 与 n(1−p) 都比较大时才用正态近似。
例题精讲
例题 1(计算:切比雪夫不等式估计区间概率)
某网关每秒到达的分组数 X 的期望为 200、方差为 100,分布未知。估计每秒到达数在 170 到 230 之间(不含端点)的概率至少是多少。
解:P{170<X<230}=P{∣X−200∣<30}≥1−302100=98≈0.889。
点评:分布未知时只能用切比雪夫不等式,得到的是下界;若已知近似正态,概率会接近 0.997。
例题 2(计算:棣莫弗-拉普拉斯近似误码个数)
某信道每个码元出错的概率为 0.1,各码元独立。发送 900 个码元,用棣莫弗-拉普拉斯定理估计出错码元不超过 99 个的概率(Φ(1)=0.8413)。
解:出错个数 Y∼B(900,0.1),np=90,np(1−p)=81=9。P{Y≤99}≈Φ(999−90)=Φ(1)=0.8413。
点评:标准差是 np(1−p),不是 np(1−p);问「不超过」只取一侧,问「在某区间内」才两侧相减。
本节小结
- 切比雪夫不等式 P{∣X−EX∣≥ε}≤D(X)/ε2,不需要知道分布。
- 三个大数定理:切比雪夫(不相关、方差有界)、贝努利(频率)、辛钦(独立同分布、期望存在)。
- 列维-林德伯格:独立同分布、方差有限,和近似 N(nμ,nσ2);棣莫弗-拉普拉斯近似二项分布。
- 频率稳定性是用频率估计概率的依据;所需试验次数可用切比雪夫不等式(保守)或中心极限定理(近似)估计。
学完练一练
按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。
本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。