杭州紫金港培训学校(紫金港专升本)杭州紫金港培训学校(紫金港专升本)
同等学力申硕信息与通信工程学科综合考前辅导第一门 随机数学(必选)第 7 节 / 共 32 节约 30 分钟免费

应用随机过程(三):马尔可夫过程、随机游动、泊松过程与布朗运动

对应随机数学(六)马尔可夫过程第 5—8 条:连续时间马尔可夫过程的转移函数、转移速率与平稳分布,简单随机游动与赌徒破产问题,泊松过程的定义、到达间隔与合成分解,布朗运动的定义与性质。

本节考点:马尔可夫过程随机游动泊松过程到达间隔与合成分解布朗运动

本节导读

这一节对应「(六)马尔可夫过程」的后四条:

  1. 马尔可夫过程。
  2. 随机游动。
  3. 泊松过程。
  4. 布朗运动。

这四种过程都具有马尔可夫性,是通信、排队和噪声分析里最常用的模型。学完要做到:会用转移速率写连续时间马尔可夫过程的平稳分布;会算随机游动的位置分布和吸收概率;会算泊松过程的计数概率、等待时间概率,会做合成与分解;会用布朗运动的独立增量性质算方差、协方差和区间概率。

本节记号:泊松过程 N(t)N(t)N(t),强度 λ\lambdaλ;布朗运动 W(t)W(t)W(t)(也叫维纳过程,不要与第 9 节 DFT 的旋转因子 WNW_NWN​ 混淆),方差参数 σ2\sigma^2σ2;随机游动 SnS_nSn​,每步向上的概率 ppp、向下的概率 q=1−pq=1-pq=1−p。

马尔可夫过程

大纲第 5 条的马尔可夫过程,这里讲时间连续、状态离散的情形(连续时间马尔可夫链)。它的转移函数 pij(t)=P{X(s+t)=j∣X(s)=i}p_{ij}(t)=P\{X(s+t)=j\mid X(s)=i\}pij​(t)=P{X(s+t)=j∣X(s)=i}(时齐时与 sss 无关),满足 C-K 方程 P(s+t)=P(s)P(t)\mathbf P(s+t)=\mathbf P(s)\mathbf P(t)P(s+t)=P(s)P(t)。

过程在状态 iii 停留的时间服从参数为 qiq_iqi​ 的指数分布,离开后以一定比例跳到别的状态。把跳转快慢写成转移速率 qij=lim⁡t→0pij(t)tq_{ij}=\lim\limits_{t\to 0}\dfrac{p_{ij}(t)}{t}qij​=t→0lim​tpij​(t)​(i≠ji\neq ji=j),对角元 qii=−qi=−∑j≠iqijq_{ii}=-q_i=-\sum_{j\neq i}q_{ij}qii​=−qi​=−∑j=i​qij​,得到每行之和为 0 的 Q\mathbf QQ 矩阵。转移函数满足柯尔莫哥洛夫方程:

P′(t)=P(t)Q=QP(t)\mathbf P'(t)=\mathbf P(t)\mathbf Q=\mathbf Q\mathbf P(t)P′(t)=P(t)Q=QP(t)

前一个是前向方程,后一个是后向方程。平稳分布由 πQ=0\boldsymbol\pi\mathbf Q=\mathbf 0πQ=0、∑πj=1\sum\pi_j=1∑πj​=1 求出,它的含义是「流出每个状态的速率等于流入的速率」。只有两个状态时,若状态 1 到状态 2 的速率为 α\alphaα、状态 2 到状态 1 的速率为 β\betaβ,平衡条件 απ1=βπ2\alpha\pi_1=\beta\pi_2απ1​=βπ2​ 给出 π1=βα+β\pi_1=\dfrac{\beta}{\alpha+\beta}π1​=α+ββ​。

随机游动

简单随机游动 Sn=ξ1+⋯+ξnS_n=\xi_1+\cdots+\xi_nSn​=ξ1​+⋯+ξn​,各 ξk\xi_kξk​ 独立,取 +1+1+1 的概率为 ppp、取 −1-1−1 的概率为 qqq。nnn 步中向上 uuu 步、向下 n−un-un−u 步时位置是 2u−n2u-n2u−n,所以

P{Sn=k}=Cnupuqn−u,u=n+k2P\{S_n=k\}=C_n^{u}p^{u}q^{n-u},\quad u=\frac{n+k}{2}P{Sn​=k}=Cnu​puqn−u,u=2n+k​

uuu 必须是整数,即 kkk 与 nnn 的奇偶性相同。E(Sn)=n(p−q)E(S_n)=n(p-q)E(Sn​)=n(p−q),D(Sn)=4npqD(S_n)=4npqD(Sn​)=4npq。直线上的简单随机游动,p=q=12p=q=\dfrac12p=q=21​ 时各状态常返(零常返),p≠qp\neq qp=q 时各状态非常返。

赌徒破产问题:在 000 和 aaa 处设吸收壁,从 kkk 出发先到达 aaa 的概率

uk={1−(q/p)k1−(q/p)a,p≠qka,p=qu_k=\begin{cases}\dfrac{1-(q/p)^k}{1-(q/p)^a},&p\neq q\\[2mm]\dfrac ka,&p=q\end{cases}uk​=⎩⎨⎧​1−(q/p)a1−(q/p)k​,ak​,​p=qp=q​

泊松过程

计数过程 N(t)N(t)N(t) 若满足 N(0)=0N(0)=0N(0)=0、增量独立、任意长为 ttt 的区间内的计数服从参数 λt\lambda tλt 的泊松分布,就叫强度为 λ\lambdaλ 的泊松过程:

P{N(s+t)−N(s)=k}=(λt)kk!e−λtk=0,1,2,⋯\begin{aligned} P\{N(s+t)-N(s)=k\}&=\frac{(\lambda t)^k}{k!}e^{-\lambda t} \\ k&=0,1,2,\cdots \end{aligned}P{N(s+t)−N(s)=k}k​=k!(λt)k​e−λt=0,1,2,⋯​

它的数字特征:E[N(t)]=D[N(t)]=λtE[N(t)]=D[N(t)]=\lambda tE[N(t)]=D[N(t)]=λt,CN(s,t)=λmin⁡(s,t)C_N(s,t)=\lambda\min(s,t)CN​(s,t)=λmin(s,t)。均值随时间增长,所以泊松过程本身不平稳,但它的增量是平稳的。

到达间隔与合成、分解

  • 到达间隔:相邻两次到达的间隔独立,都服从参数 λ\lambdaλ 的指数分布,平均间隔 1λ\dfrac1\lambdaλ1​;指数分布无记忆,已经等了多久不影响还要再等多久的分布。第 nnn 次到达的时刻服从埃尔朗分布,均值 nλ\dfrac n\lambdaλn​。
  • 合成:两个独立的泊松过程(强度 λ1\lambda_1λ1​、λ2\lambda_2λ2​)相加,仍是泊松过程,强度 λ1+λ2\lambda_1+\lambda_2λ1​+λ2​。
  • 分解:每个到达独立地以概率 ppp 归入第一类,第一类到达构成强度 λp\lambda pλp 的泊松过程,第二类是强度 λ(1−p)\lambda(1-p)λ(1−p) 的泊松过程,两者独立。
  • 条件分布:已知 [0,t][0,t][0,t] 内恰有 nnn 次到达,这些到达时刻就像 nnn 个在 [0,t][0,t][0,t] 上独立均匀分布的点。

布朗运动

布朗运动 W(t)W(t)W(t):W(0)=0W(0)=0W(0)=0;增量独立;W(t)−W(s)∼N(0,σ2(t−s))W(t)-W(s)\sim N(0,\sigma^2(t-s))W(t)−W(s)∼N(0,σ2(t−s))(s<ts\lt ts<t);样本函数连续。σ2=1\sigma^2=1σ2=1 时叫标准布朗运动。主要性质:

  • 它是正态过程,均值为 0,CW(s,t)=σ2min⁡(s,t)C_W(s,t)=\sigma^2\min(s,t)CW​(s,t)=σ2min(s,t);
  • 它是独立增量过程,因而是马尔可夫过程;
  • 样本函数处处连续、处处不可导;
  • 反射原理:P{max⁡0≤s≤tW(s)≥a}=2P{W(t)≥a}P\Big\{\max\limits_{0\le s\le t}W(s)\ge a\Big\}=2P\{W(t)\ge a\}P{0≤s≤tmax​W(s)≥a}=2P{W(t)≥a}(a>0a\gt 0a>0)。

热噪声、电路中的随机漂移常用它建模;把它「求导」得到的就是白噪声(形式上的说法,严格处理要用广义函数)。

易错提醒

  • ❌ 泊松过程的均值和方差都不随时间变化,所以它是平稳随机过程。
    ✅ E[N(t)]=D[N(t)]=λtE[N(t)]=D[N(t)]=\lambda tE[N(t)]=D[N(t)]=λt 随 ttt 增长,过程本身不平稳;平稳的是它的增量。

  • ❌ 布朗运动的样本函数连续,所以也是光滑可导的。
    ✅ 它的样本函数处处连续、处处不可导,越放大看越曲折。

  • ❌ 连续时间马尔可夫过程的 Q\mathbf QQ 矩阵和转移矩阵一样,每行之和为 1。
    ✅ Q\mathbf QQ 的每行之和为 0,对角元是负数;行和为 1 的是转移函数矩阵 P(t)\mathbf P(t)P(t)。

例题精讲

例题 1(计算:泊松过程的计数与条件分布)

某热线的来电是强度为每分钟 3 次的泊松过程。求 2 分钟内恰好来 4 次电话的概率;已知前 3 分钟共来了 2 次,求第 1 分钟内恰好来 1 次的概率。

解:λt=6\lambda t=6λt=6,P{N(2)=4}=644!e−6=54e−6≈0.1339P\{N(2)=4\}=\dfrac{6^4}{4!}e^{-6}=54e^{-6}\approx 0.1339P{N(2)=4}=4!64​e−6=54e−6≈0.1339。已知 N(3)=2N(3)=2N(3)=2,两次到达的时刻相当于 [0,3][0,3][0,3] 上的两个独立均匀点,各自落在第 1 分钟的概率为 13\dfrac1331​:

P{N(1)=1∣N(3)=2}=C21⋅13⋅23=49P\{N(1)=1\mid N(3)=2\}=C_2^1\cdot\frac13\cdot\frac23=\frac49P{N(1)=1∣N(3)=2}=C21​⋅31​⋅32​=94​

点评:条件概率与强度 λ\lambdaλ 无关;这类题先想到「均匀点」,再按二项分布算。

例题 2(计算:布朗运动的增量与协方差)

标准布朗运动 W(t)W(t)W(t)。求 P{∣W(5)−W(1)∣≤2}P\{\lvert W(5)-W(1)\rvert\le 2\}P{∣W(5)−W(1)∣≤2} 与 Cov(W(1),W(3))\mathrm{Cov}(W(1),W(3))Cov(W(1),W(3))(Φ(1)=0.8413\Phi(1)=0.8413Φ(1)=0.8413)。

解:W(5)−W(1)∼N(0,4)W(5)-W(1)\sim N(0,4)W(5)−W(1)∼N(0,4),标准差 2,所求概率 2Φ(1)−1=0.68262\Phi(1)-1=0.68262Φ(1)−1=0.6826。Cov(W(1),W(3))=min⁡(1,3)=1\mathrm{Cov}(W(1),W(3))=\min(1,3)=1Cov(W(1),W(3))=min(1,3)=1。

点评:增量的方差只看时间差,协方差只看两个时刻中较小的那个;独立增量的性质让两者都很好算。

本节小结

  • 连续时间马尔可夫过程:停留时间指数分布,Q\mathbf QQ 矩阵行和为 0,柯尔莫哥洛夫方程,平稳分布 πQ=0\boldsymbol\pi\mathbf Q=\mathbf 0πQ=0。
  • 随机游动:P{Sn=k}=Cnupuqn−uP\{S_n=k\}=C_n^up^uq^{n-u}P{Sn​=k}=Cnu​puqn−u;对称时常返;赌徒破产的吸收概率公式。
  • 泊松过程:计数服从泊松分布,均值、方差都是 λt\lambda tλt;间隔指数分布、无记忆;可合成、可分解。
  • 布朗运动:独立增量、增量正态,CW(s,t)=σ2min⁡(s,t)C_W(s,t)=\sigma^2\min(s,t)CW​(s,t)=σ2min(s,t);连续但处处不可导。

学完练一练

按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。

本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。

我要提问免费报名咨询