应用随机过程(三):马尔可夫过程、随机游动、泊松过程与布朗运动
对应随机数学(六)马尔可夫过程第 5—8 条:连续时间马尔可夫过程的转移函数、转移速率与平稳分布,简单随机游动与赌徒破产问题,泊松过程的定义、到达间隔与合成分解,布朗运动的定义与性质。
本节导读
这一节对应「(六)马尔可夫过程」的后四条:
- 马尔可夫过程。
- 随机游动。
- 泊松过程。
- 布朗运动。
这四种过程都具有马尔可夫性,是通信、排队和噪声分析里最常用的模型。学完要做到:会用转移速率写连续时间马尔可夫过程的平稳分布;会算随机游动的位置分布和吸收概率;会算泊松过程的计数概率、等待时间概率,会做合成与分解;会用布朗运动的独立增量性质算方差、协方差和区间概率。
本节记号:泊松过程 N(t),强度 λ;布朗运动 W(t)(也叫维纳过程,不要与第 9 节 DFT 的旋转因子 WN 混淆),方差参数 σ2;随机游动 Sn,每步向上的概率 p、向下的概率 q=1−p。
马尔可夫过程
大纲第 5 条的马尔可夫过程,这里讲时间连续、状态离散的情形(连续时间马尔可夫链)。它的转移函数 pij(t)=P{X(s+t)=j∣X(s)=i}(时齐时与 s 无关),满足 C-K 方程 P(s+t)=P(s)P(t)。
过程在状态 i 停留的时间服从参数为 qi 的指数分布,离开后以一定比例跳到别的状态。把跳转快慢写成转移速率 qij=t→0limtpij(t)(i=j),对角元 qii=−qi=−∑j=iqij,得到每行之和为 0 的 Q 矩阵。转移函数满足柯尔莫哥洛夫方程:
P′(t)=P(t)Q=QP(t)前一个是前向方程,后一个是后向方程。平稳分布由 πQ=0、∑πj=1 求出,它的含义是「流出每个状态的速率等于流入的速率」。只有两个状态时,若状态 1 到状态 2 的速率为 α、状态 2 到状态 1 的速率为 β,平衡条件 απ1=βπ2 给出 π1=α+ββ。
随机游动
简单随机游动 Sn=ξ1+⋯+ξn,各 ξk 独立,取 +1 的概率为 p、取 −1 的概率为 q。n 步中向上 u 步、向下 n−u 步时位置是 2u−n,所以
P{Sn=k}=Cnupuqn−u,u=2n+ku 必须是整数,即 k 与 n 的奇偶性相同。E(Sn)=n(p−q),D(Sn)=4npq。直线上的简单随机游动,p=q=21 时各状态常返(零常返),p=q 时各状态非常返。
赌徒破产问题:在 0 和 a 处设吸收壁,从 k 出发先到达 a 的概率
uk=⎩⎨⎧1−(q/p)a1−(q/p)k,ak,p=qp=q泊松过程
计数过程 N(t) 若满足 N(0)=0、增量独立、任意长为 t 的区间内的计数服从参数 λt 的泊松分布,就叫强度为 λ 的泊松过程:
P{N(s+t)−N(s)=k}k=k!(λt)ke−λt=0,1,2,⋯它的数字特征:E[N(t)]=D[N(t)]=λt,CN(s,t)=λmin(s,t)。均值随时间增长,所以泊松过程本身不平稳,但它的增量是平稳的。
到达间隔与合成、分解
- 到达间隔:相邻两次到达的间隔独立,都服从参数 λ 的指数分布,平均间隔 λ1;指数分布无记忆,已经等了多久不影响还要再等多久的分布。第 n 次到达的时刻服从埃尔朗分布,均值 λn。
- 合成:两个独立的泊松过程(强度 λ1、λ2)相加,仍是泊松过程,强度 λ1+λ2。
- 分解:每个到达独立地以概率 p 归入第一类,第一类到达构成强度 λp 的泊松过程,第二类是强度 λ(1−p) 的泊松过程,两者独立。
- 条件分布:已知 [0,t] 内恰有 n 次到达,这些到达时刻就像 n 个在 [0,t] 上独立均匀分布的点。
布朗运动
布朗运动 W(t):W(0)=0;增量独立;W(t)−W(s)∼N(0,σ2(t−s))(s<t);样本函数连续。σ2=1 时叫标准布朗运动。主要性质:
- 它是正态过程,均值为 0,CW(s,t)=σ2min(s,t);
- 它是独立增量过程,因而是马尔可夫过程;
- 样本函数处处连续、处处不可导;
- 反射原理:P{0≤s≤tmaxW(s)≥a}=2P{W(t)≥a}(a>0)。
热噪声、电路中的随机漂移常用它建模;把它「求导」得到的就是白噪声(形式上的说法,严格处理要用广义函数)。
易错提醒
-
❌ 泊松过程的均值和方差都不随时间变化,所以它是平稳随机过程。
✅ E[N(t)]=D[N(t)]=λt 随 t 增长,过程本身不平稳;平稳的是它的增量。 -
❌ 布朗运动的样本函数连续,所以也是光滑可导的。
✅ 它的样本函数处处连续、处处不可导,越放大看越曲折。 -
❌ 连续时间马尔可夫过程的 Q 矩阵和转移矩阵一样,每行之和为 1。
✅ Q 的每行之和为 0,对角元是负数;行和为 1 的是转移函数矩阵 P(t)。
例题精讲
例题 1(计算:泊松过程的计数与条件分布)
某热线的来电是强度为每分钟 3 次的泊松过程。求 2 分钟内恰好来 4 次电话的概率;已知前 3 分钟共来了 2 次,求第 1 分钟内恰好来 1 次的概率。
解:λt=6,P{N(2)=4}=4!64e−6=54e−6≈0.1339。已知 N(3)=2,两次到达的时刻相当于 [0,3] 上的两个独立均匀点,各自落在第 1 分钟的概率为 31:
P{N(1)=1∣N(3)=2}=C21⋅31⋅32=94点评:条件概率与强度 λ 无关;这类题先想到「均匀点」,再按二项分布算。
例题 2(计算:布朗运动的增量与协方差)
标准布朗运动 W(t)。求 P{∣W(5)−W(1)∣≤2} 与 Cov(W(1),W(3))(Φ(1)=0.8413)。
解:W(5)−W(1)∼N(0,4),标准差 2,所求概率 2Φ(1)−1=0.6826。Cov(W(1),W(3))=min(1,3)=1。
点评:增量的方差只看时间差,协方差只看两个时刻中较小的那个;独立增量的性质让两者都很好算。
本节小结
- 连续时间马尔可夫过程:停留时间指数分布,Q 矩阵行和为 0,柯尔莫哥洛夫方程,平稳分布 πQ=0。
- 随机游动:P{Sn=k}=Cnupuqn−u;对称时常返;赌徒破产的吸收概率公式。
- 泊松过程:计数服从泊松分布,均值、方差都是 λt;间隔指数分布、无记忆;可合成、可分解。
- 布朗运动:独立增量、增量正态,CW(s,t)=σ2min(s,t);连续但处处不可导。
学完练一练
按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。
本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。