杭州紫金港培训学校(紫金港专升本)杭州紫金港培训学校(紫金港专升本)
同等学力申硕信息与通信工程学科综合考前辅导第一门 随机数学(必选)第 8 节 / 共 32 节约 30 分钟免费

应用随机过程(四):平稳随机过程与时间序列

对应随机数学(七):二阶矩过程,均方连续、均方可微与均方可积,平稳随机过程与平稳时间序列,谱分解与遍历性,线性时不变系统的输入输出关系,AR(p)与 MA(q)模型参数的矩估计和似然估计。

本节考点:二阶矩过程均方连续可微可积平稳随机过程与时间序列谱分解与遍历性线性时不变系统AR与MA参数估计

本节导读

这一节是随机数学的最后一节,对应「(七)」的六条(大纲标题中「平稳」与「过程」两词直接相连,本课写作「平稳随机过程与时间序列」,含义相同):

  1. 二阶矩过程。
  2. 均方连续、均方可微与均方可积。
  3. 平稳随机过程与平稳时间序列(大纲原文同样是两词直接相连的写法)。
  4. 谱分解、遍历性。
  5. 线性时不变系统。
  6. AR(p)和 MA(q)的参数估计。

数理统计整体不考,只在这里保留矩估计和似然估计两种点估计(导学已引说明原文)。学完要做到:会由相关函数判断均方连续、均方可微;会由相关函数求功率谱密度;会判断均值遍历性;会求平稳随机过程通过线性系统后的均值、功率谱和平均功率;会用样本自协方差做 AR(1)、MA(1)的矩估计,会写 AR(1)的条件似然估计。

本节记号:RX(τ)R_X(\tau)RX​(τ) 是宽平稳随机过程的相关函数,SX(ω)S_X(\omega)SX​(ω) 是它的功率谱密度,ω\omegaω 是模拟角频率(rad/s);时间序列 {Xt}\{X_t\}{Xt​} 的自协方差 γ(k)\gamma(k)γ(k),样本自协方差 γ^(k)\hat\gamma(k)γ^​(k);AR 系数 φk\varphi_kφk​,MA 系数 θk\theta_kθk​,白噪声 εt\varepsilon_tεt​ 的方差 σ2\sigma^2σ2。

二阶矩过程与均方极限

对一切 ttt 都有 E[X2(t)]<∞E[X^2(t)]\lt\inftyE[X2(t)]<∞ 的过程叫二阶矩过程,它的相关函数一定存在(由柯西—施瓦茨不等式 ∣RX(s,t)∣2≤RX(s,s)RX(t,t)\lvert R_X(s,t)\rvert^2\le R_X(s,s)R_X(t,t)∣RX​(s,t)∣2≤RX​(s,s)RX​(t,t))。研究二阶矩过程的连续、导数、积分,用的是均方收敛:若 lim⁡n→∞E∣Xn−X∣2=0\lim\limits_{n\to\infty}E\lvert X_n-X\rvert^2=0n→∞lim​E∣Xn​−X∣2=0,记作 l.i.m. Xn=X\mathrm{l.i.m.}\,X_n=Xl.i.m.Xn​=X。均方意义下的运算可以和求期望交换次序,这是下面各条判据的来源。

均方连续、均方可微与均方可积

三条判据都只看相关函数:

性质一般二阶矩过程的判据宽平稳时的判据
均方连续RX(s,t)R_X(s,t)RX​(s,t) 在 (t,t)(t,t)(t,t) 处连续RX(τ)R_X(\tau)RX​(τ) 在 τ=0\tau=0τ=0 处连续
均方可微∂2RX∂s∂t\dfrac{\partial^2R_X}{\partial s\partial t}∂s∂t∂2RX​​ 在 (t,t)(t,t)(t,t) 处存在RX′′(0)R_X''(0)RX′′​(0) 存在
均方可积∬RX(s,t) ds dt\iint R_X(s,t)\,ds\,dt∬RX​(s,t)dsdt 存在RX(τ)R_X(\tau)RX​(τ) 连续即可

均方可微时,导数过程的均值是 mX′(t)m_X'(t)mX′​(t),宽平稳时导数过程的相关函数是 −RX′′(τ)-R_X''(\tau)−RX′′​(τ)。积分过程 Y=∫abX(t) dtY=\int_a^bX(t)\,dtY=∫ab​X(t)dt 的均值是 ∫abmX(t) dt\int_a^bm_X(t)\,dt∫ab​mX​(t)dt,均方值是 ∫ab∫abRX(s,t) ds dt\int_a^b\int_a^bR_X(s,t)\,ds\,dt∫ab​∫ab​RX​(s,t)dsdt。相关函数在 τ=0\tau=0τ=0 处有尖点(左右导数不等)时,过程均方连续但不均方可微。

平稳随机过程与平稳时间序列

宽平稳随机过程的相关函数 RX(τ)R_X(\tau)RX​(τ) 有这些性质:RX(0)=E[X2(t)]≥0R_X(0)=E[X^2(t)]\ge 0RX​(0)=E[X2(t)]≥0 是平均功率;RX(−τ)=RX(τ)R_X(-\tau)=R_X(\tau)RX​(−τ)=RX​(τ) 是偶函数;∣RX(τ)∣≤RX(0)\lvert R_X(\tau)\rvert\le R_X(0)∣RX​(τ)∣≤RX​(0);它是非负定函数。反过来,一个函数要能当某个平稳随机过程的相关函数,这几条都得满足。

时间取整数的宽平稳随机过程叫平稳时间序列,记 {Xt}\{X_t\}{Xt​},自协方差 γ(k)=Cov(Xt,Xt+k)\gamma(k)=\mathrm{Cov}(X_t,X_{t+k})γ(k)=Cov(Xt​,Xt+k​),自相关系数 ρ(k)=γ(k)/γ(0)\rho(k)=\gamma(k)/\gamma(0)ρ(k)=γ(k)/γ(0)。最简单的是白噪声序列:均值为 0、方差 σ2\sigma^2σ2、不同时刻不相关。

谱分解

宽平稳随机过程的功率谱密度与相关函数是一对傅里叶变换(维纳—辛钦定理):

SX(ω)=∫−∞∞RX(τ)e−jωτ dτRX(τ)=12π∫−∞∞SX(ω)ejωτ dω\begin{aligned} S_X(\omega)&=\int_{-\infty}^{\infty}R_X(\tau)e^{-j\omega\tau}\,d\tau\\ R_X(\tau)&=\frac{1}{2\pi}\int_{-\infty}^{\infty}S_X(\omega)e^{j\omega\tau}\,d\omega \end{aligned}SX​(ω)RX​(τ)​=∫−∞∞​RX​(τ)e−jωτdτ=2π1​∫−∞∞​SX​(ω)ejωτdω​

SX(ω)S_X(\omega)SX​(ω) 是实的、偶的、非负的函数,平均功率 RX(0)=12π∫SX(ω) dωR_X(0)=\dfrac1{2\pi}\int S_X(\omega)\,d\omegaRX​(0)=2π1​∫SX​(ω)dω。常用变换对:e−a∣τ∣↔2aa2+ω2e^{-a\lvert\tau\rvert}\leftrightarrow\dfrac{2a}{a^2+\omega^2}e−a∣τ∣↔a2+ω22a​;常数 c↔2πc δ(ω)c\leftrightarrow 2\pi c\,\delta(\omega)c↔2πcδ(ω)。更深一层的「谱分解」是把过程本身写成各频率分量的叠加 X(t)=∫ejωt dZ(ω)X(t)=\int e^{j\omega t}\,dZ(\omega)X(t)=∫ejωtdZ(ω),不同频率的增量 dZdZdZ 互不相关;平稳时间序列的谱密度用 ∑kγ(k)e−jωk\sum_k\gamma(k)e^{-j\omega k}∑k​γ(k)e−jωk 计算。

遍历性

只有一条样本函数时,能不能用时间平均代替集合平均?若时间平均 X‾=lim⁡T→∞12T∫−TTX(t) dt\overline{X}=\lim\limits_{T\to\infty}\dfrac{1}{2T}\int_{-T}^{T}X(t)\,dtX=T→∞lim​2T1​∫−TT​X(t)dt 在均方意义下等于 mXm_XmX​,称过程的均值具有遍历性;相关函数同理。对平稳时间序列,均值遍历的充要条件是 1N∑k=0N−1γ(k)→0\dfrac1N\sum_{k=0}^{N-1}\gamma(k)\to 0N1​∑k=0N−1​γ(k)→0;协方差 γ(k)→0\gamma(k)\to 0γ(k)→0(k→∞k\to\inftyk→∞)就足够了。直观地说,过程里若含有一个「在整条样本函数上保持不变的随机成分」,时间平均就消不掉它,结果随样本而变,均值就不遍历。

线性时不变系统

宽平稳随机过程 X(t)X(t)X(t) 通过冲激响应为 h(t)h(t)h(t)、频率响应为 H(ω)H(\omega)H(ω) 的稳定线性时不变系统,输出 Y(t)=∫h(u)X(t−u) duY(t)=\int h(u)X(t-u)\,duY(t)=∫h(u)X(t−u)du 仍是宽平稳的,并且与输入联合宽平稳:

  • 均值:mY=mX H(0)m_Y=m_X\,H(0)mY​=mX​H(0);
  • 互相关:RXY(τ)=RX(τ)∗h(τ)R_{XY}(\tau)=R_X(\tau)*h(\tau)RXY​(τ)=RX​(τ)∗h(τ);
  • 功率谱:SY(ω)=∣H(ω)∣2SX(ω)S_Y(\omega)=\lvert H(\omega)\rvert^2S_X(\omega)SY​(ω)=∣H(ω)∣2SX​(ω),输出平均功率 RY(0)=12π∫∣H(ω)∣2SX(ω) dωR_Y(0)=\dfrac1{2\pi}\int\lvert H(\omega)\rvert^2S_X(\omega)\,d\omegaRY​(0)=2π1​∫∣H(ω)∣2SX​(ω)dω。

白噪声(SX(ω)S_X(\omega)SX​(ω) 为常数)通过系统,输出谱的形状完全由 ∣H(ω)∣2\lvert H(\omega)\rvert^2∣H(ω)∣2 决定,这是用白噪声「成形」出有色噪声的原理,也是下面 AR、MA 模型的出发点。

AR(p)和 MA(q)的参数估计

本节的模型写法:

AR(p): Xt=φ1Xt−1+⋯+φpXt−p+εtMA(q): Xt=εt+θ1εt−1+⋯+θqεt−q\begin{aligned} \text{AR}(p):\ X_t&=\varphi_1X_{t-1}+\cdots+\varphi_pX_{t-p}+\varepsilon_t\\ \text{MA}(q):\ X_t&=\varepsilon_t+\theta_1\varepsilon_{t-1}+\cdots+\theta_q\varepsilon_{t-q} \end{aligned}AR(p): Xt​MA(q): Xt​​=φ1​Xt−1​+⋯+φp​Xt−p​+εt​=εt​+θ1​εt−1​+⋯+θq​εt−q​​

有的教材把 MA 写成 εt−θ1εt−1−⋯\varepsilon_t-\theta_1\varepsilon_{t-1}-\cdotsεt​−θ1​εt−1​−⋯,系数差一个符号;第 11 节信号处理的写法又不同,那里会说明换算。

矩估计:用样本自协方差 γ^(k)=1N∑t=1N−k(Xt−X‾)(Xt+k−X‾)\hat\gamma(k)=\dfrac1N\sum_{t=1}^{N-k}(X_t-\overline X)(X_{t+k}-\overline X)γ^​(k)=N1​∑t=1N−k​(Xt​−X)(Xt+k​−X) 代替理论值。AR(1):φ^=γ^(1)γ^(0)\hat\varphi=\dfrac{\hat\gamma(1)}{\hat\gamma(0)}φ^​=γ^​(0)γ^​(1)​,σ^2=γ^(0)(1−φ^2)\hat\sigma^2=\hat\gamma(0)(1-\hat\varphi^2)σ^2=γ^​(0)(1−φ^​2);AR(p)解尤尔—沃克方程组。MA(1):由 ρ(1)=θ1+θ2\rho(1)=\dfrac{\theta}{1+\theta^2}ρ(1)=1+θ2θ​ 解一元二次方程,两个根互为倒数,取 ∣θ∣<1\lvert\theta\rvert\lt 1∣θ∣<1 的那个(可逆性)。

似然估计:白噪声为正态时,AR(1)在给定第一个观测值的条件下,似然函数最大等价于残差平方和 ∑t=2N(xt−φxt−1)2\sum_{t=2}^{N}(x_t-\varphi x_{t-1})^2∑t=2N​(xt​−φxt−1​)2 最小,得

φ^=∑t=2Nxtxt−1∑t=2Nxt−12\hat\varphi=\frac{\sum_{t=2}^{N}x_tx_{t-1}}{\sum_{t=2}^{N}x_{t-1}^2}φ^​=∑t=2N​xt−12​∑t=2N​xt​xt−1​​

与矩估计相比,分母少了最后一个观测值的平方;样本很长时两者几乎相同。MA 模型的似然估计没有显式解,要迭代计算,只要求知道思路。

易错提醒

  • ❌ 尤尔—沃克方程只能用来估计 AR(1)。
    ✅ 它对任意阶 AR(p)都适用:用 γ^(0),⋯ ,γ^(p)\hat\gamma(0),\cdots,\hat\gamma(p)γ^​(0),⋯,γ^​(p) 列出 ppp 个线性方程,解出 ppp 个系数。

  • ❌ 均方连续的过程,样本函数一定处处连续。
    ✅ 均方连续是二阶矩意义下的连续;泊松过程均方连续,样本函数却是跳跃的阶梯。

  • ❌ 时间序列里的白噪声必须服从正态分布。
    ✅ 白噪声只要求均值为零、方差相同、不同时刻不相关;正态白噪声只是其中一种,写似然函数时才需要假定正态。

例题精讲

例题 1(计算:由相关函数求均值、方差与功率谱)

均值遍历的宽平稳随机过程的相关函数为 RX(τ)=4e−2∣τ∣+1R_X(\tau)=4e^{-2\lvert\tau\rvert}+1RX​(τ)=4e−2∣τ∣+1。求均值的绝对值、方差、平均功率和功率谱密度。

解:τ→∞\tau\to\inftyτ→∞ 时协方差部分衰减为 0,RX(∞)=mX2=1R_X(\infty)=m_X^2=1RX​(∞)=mX2​=1,∣mX∣=1\lvert m_X\rvert=1∣mX​∣=1。平均功率 RX(0)=5R_X(0)=5RX​(0)=5,方差 RX(0)−mX2=4R_X(0)-m_X^2=4RX​(0)−mX2​=4。由变换对,

SX(ω)=164+ω2+2πδ(ω)S_X(\omega)=\frac{16}{4+\omega^2}+2\pi\delta(\omega)SX​(ω)=4+ω216​+2πδ(ω)

点评:常数项对应直流分量,在谱上是 ω=0\omega=0ω=0 处的冲激;方差对应连续谱部分。

例题 2(计算:AR(1)的矩估计)

一段零均值平稳时间序列,算得 γ^(0)=2.5\hat\gamma(0)=2.5γ^​(0)=2.5,γ^(1)=−1.75\hat\gamma(1)=-1.75γ^​(1)=−1.75。按 AR(1)模型做矩估计。

解:φ^=−1.752.5=−0.7\hat\varphi=\dfrac{-1.75}{2.5}=-0.7φ^​=2.5−1.75​=−0.7,σ^2=2.5×(1−0.49)=1.275\hat\sigma^2=2.5\times(1-0.49)=1.275σ^2=2.5×(1−0.49)=1.275。模型 Xt=−0.7Xt−1+εtX_t=-0.7X_{t-1}+\varepsilon_tXt​=−0.7Xt−1​+εt​。

点评:φ^\hat\varphiφ^​ 为负,相邻值倾向于一正一负交替,谱能量集中在高频;∣φ^∣<1\lvert\hat\varphi\rvert\lt 1∣φ^​∣<1,模型平稳。

本节小结

  • 二阶矩过程用均方收敛讨论连续、可微、可积,判据都看相关函数;宽平稳时看 RX(τ)R_X(\tau)RX​(τ) 在 0 处。
  • RX(τ)R_X(\tau)RX​(τ) 偶、非负定、在 0 处最大;功率谱与相关函数互为傅里叶变换,谱非负。
  • 均值遍历:时间平均等于集合平均;γ(k)→0\gamma(k)\to 0γ(k)→0 足够。
  • LTI 系统:mY=mXH(0)m_Y=m_XH(0)mY​=mX​H(0),SY=∣H∣2SXS_Y=\lvert H\rvert^2S_XSY​=∣H∣2SX​。
  • AR(1)矩估计 φ^=γ^(1)/γ^(0)\hat\varphi=\hat\gamma(1)/\hat\gamma(0)φ^​=γ^​(1)/γ^​(0);MA(1)解二次方程取可逆根;AR(1)条件似然估计即最小二乘。

学完练一练

按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。

本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。

我要提问免费报名咨询