应用随机过程(四):平稳随机过程与时间序列
对应随机数学(七):二阶矩过程,均方连续、均方可微与均方可积,平稳随机过程与平稳时间序列,谱分解与遍历性,线性时不变系统的输入输出关系,AR(p)与 MA(q)模型参数的矩估计和似然估计。
本节导读
这一节是随机数学的最后一节,对应「(七)」的六条(大纲标题中「平稳」与「过程」两词直接相连,本课写作「平稳随机过程与时间序列」,含义相同):
- 二阶矩过程。
- 均方连续、均方可微与均方可积。
- 平稳随机过程与平稳时间序列(大纲原文同样是两词直接相连的写法)。
- 谱分解、遍历性。
- 线性时不变系统。
- AR(p)和 MA(q)的参数估计。
数理统计整体不考,只在这里保留矩估计和似然估计两种点估计(导学已引说明原文)。学完要做到:会由相关函数判断均方连续、均方可微;会由相关函数求功率谱密度;会判断均值遍历性;会求平稳随机过程通过线性系统后的均值、功率谱和平均功率;会用样本自协方差做 AR(1)、MA(1)的矩估计,会写 AR(1)的条件似然估计。
本节记号:RX(τ) 是宽平稳随机过程的相关函数,SX(ω) 是它的功率谱密度,ω 是模拟角频率(rad/s);时间序列 {Xt} 的自协方差 γ(k),样本自协方差 γ^(k);AR 系数 φk,MA 系数 θk,白噪声 εt 的方差 σ2。
二阶矩过程与均方极限
对一切 t 都有 E[X2(t)]<∞ 的过程叫二阶矩过程,它的相关函数一定存在(由柯西—施瓦茨不等式 ∣RX(s,t)∣2≤RX(s,s)RX(t,t))。研究二阶矩过程的连续、导数、积分,用的是均方收敛:若 n→∞limE∣Xn−X∣2=0,记作 l.i.m.Xn=X。均方意义下的运算可以和求期望交换次序,这是下面各条判据的来源。
均方连续、均方可微与均方可积
三条判据都只看相关函数:
| 性质 | 一般二阶矩过程的判据 | 宽平稳时的判据 |
|---|---|---|
| 均方连续 | RX(s,t) 在 (t,t) 处连续 | RX(τ) 在 τ=0 处连续 |
| 均方可微 | ∂s∂t∂2RX 在 (t,t) 处存在 | RX′′(0) 存在 |
| 均方可积 | ∬RX(s,t)dsdt 存在 | RX(τ) 连续即可 |
均方可微时,导数过程的均值是 mX′(t),宽平稳时导数过程的相关函数是 −RX′′(τ)。积分过程 Y=∫abX(t)dt 的均值是 ∫abmX(t)dt,均方值是 ∫ab∫abRX(s,t)dsdt。相关函数在 τ=0 处有尖点(左右导数不等)时,过程均方连续但不均方可微。
平稳随机过程与平稳时间序列
宽平稳随机过程的相关函数 RX(τ) 有这些性质:RX(0)=E[X2(t)]≥0 是平均功率;RX(−τ)=RX(τ) 是偶函数;∣RX(τ)∣≤RX(0);它是非负定函数。反过来,一个函数要能当某个平稳随机过程的相关函数,这几条都得满足。
时间取整数的宽平稳随机过程叫平稳时间序列,记 {Xt},自协方差 γ(k)=Cov(Xt,Xt+k),自相关系数 ρ(k)=γ(k)/γ(0)。最简单的是白噪声序列:均值为 0、方差 σ2、不同时刻不相关。
谱分解
宽平稳随机过程的功率谱密度与相关函数是一对傅里叶变换(维纳—辛钦定理):
SX(ω)RX(τ)=∫−∞∞RX(τ)e−jωτdτ=2π1∫−∞∞SX(ω)ejωτdωSX(ω) 是实的、偶的、非负的函数,平均功率 RX(0)=2π1∫SX(ω)dω。常用变换对:e−a∣τ∣↔a2+ω22a;常数 c↔2πcδ(ω)。更深一层的「谱分解」是把过程本身写成各频率分量的叠加 X(t)=∫ejωtdZ(ω),不同频率的增量 dZ 互不相关;平稳时间序列的谱密度用 ∑kγ(k)e−jωk 计算。
遍历性
只有一条样本函数时,能不能用时间平均代替集合平均?若时间平均 X=T→∞lim2T1∫−TTX(t)dt 在均方意义下等于 mX,称过程的均值具有遍历性;相关函数同理。对平稳时间序列,均值遍历的充要条件是 N1∑k=0N−1γ(k)→0;协方差 γ(k)→0(k→∞)就足够了。直观地说,过程里若含有一个「在整条样本函数上保持不变的随机成分」,时间平均就消不掉它,结果随样本而变,均值就不遍历。
线性时不变系统
宽平稳随机过程 X(t) 通过冲激响应为 h(t)、频率响应为 H(ω) 的稳定线性时不变系统,输出 Y(t)=∫h(u)X(t−u)du 仍是宽平稳的,并且与输入联合宽平稳:
- 均值:mY=mXH(0);
- 互相关:RXY(τ)=RX(τ)∗h(τ);
- 功率谱:SY(ω)=∣H(ω)∣2SX(ω),输出平均功率 RY(0)=2π1∫∣H(ω)∣2SX(ω)dω。
白噪声(SX(ω) 为常数)通过系统,输出谱的形状完全由 ∣H(ω)∣2 决定,这是用白噪声「成形」出有色噪声的原理,也是下面 AR、MA 模型的出发点。
AR(p)和 MA(q)的参数估计
本节的模型写法:
AR(p): XtMA(q): Xt=φ1Xt−1+⋯+φpXt−p+εt=εt+θ1εt−1+⋯+θqεt−q有的教材把 MA 写成 εt−θ1εt−1−⋯,系数差一个符号;第 11 节信号处理的写法又不同,那里会说明换算。
矩估计:用样本自协方差 γ^(k)=N1∑t=1N−k(Xt−X)(Xt+k−X) 代替理论值。AR(1):φ^=γ^(0)γ^(1),σ^2=γ^(0)(1−φ^2);AR(p)解尤尔—沃克方程组。MA(1):由 ρ(1)=1+θ2θ 解一元二次方程,两个根互为倒数,取 ∣θ∣<1 的那个(可逆性)。
似然估计:白噪声为正态时,AR(1)在给定第一个观测值的条件下,似然函数最大等价于残差平方和 ∑t=2N(xt−φxt−1)2 最小,得
φ^=∑t=2Nxt−12∑t=2Nxtxt−1与矩估计相比,分母少了最后一个观测值的平方;样本很长时两者几乎相同。MA 模型的似然估计没有显式解,要迭代计算,只要求知道思路。
易错提醒
-
❌ 尤尔—沃克方程只能用来估计 AR(1)。
✅ 它对任意阶 AR(p)都适用:用 γ^(0),⋯,γ^(p) 列出 p 个线性方程,解出 p 个系数。 -
❌ 均方连续的过程,样本函数一定处处连续。
✅ 均方连续是二阶矩意义下的连续;泊松过程均方连续,样本函数却是跳跃的阶梯。 -
❌ 时间序列里的白噪声必须服从正态分布。
✅ 白噪声只要求均值为零、方差相同、不同时刻不相关;正态白噪声只是其中一种,写似然函数时才需要假定正态。
例题精讲
例题 1(计算:由相关函数求均值、方差与功率谱)
均值遍历的宽平稳随机过程的相关函数为 RX(τ)=4e−2∣τ∣+1。求均值的绝对值、方差、平均功率和功率谱密度。
解:τ→∞ 时协方差部分衰减为 0,RX(∞)=mX2=1,∣mX∣=1。平均功率 RX(0)=5,方差 RX(0)−mX2=4。由变换对,
SX(ω)=4+ω216+2πδ(ω)点评:常数项对应直流分量,在谱上是 ω=0 处的冲激;方差对应连续谱部分。
例题 2(计算:AR(1)的矩估计)
一段零均值平稳时间序列,算得 γ^(0)=2.5,γ^(1)=−1.75。按 AR(1)模型做矩估计。
解:φ^=2.5−1.75=−0.7,σ^2=2.5×(1−0.49)=1.275。模型 Xt=−0.7Xt−1+εt。
点评:φ^ 为负,相邻值倾向于一正一负交替,谱能量集中在高频;∣φ^∣<1,模型平稳。
本节小结
- 二阶矩过程用均方收敛讨论连续、可微、可积,判据都看相关函数;宽平稳时看 RX(τ) 在 0 处。
- RX(τ) 偶、非负定、在 0 处最大;功率谱与相关函数互为傅里叶变换,谱非负。
- 均值遍历:时间平均等于集合平均;γ(k)→0 足够。
- LTI 系统:mY=mXH(0),SY=∣H∣2SX。
- AR(1)矩估计 φ^=γ^(1)/γ^(0);MA(1)解二次方程取可逆根;AR(1)条件似然估计即最小二乘。
学完练一练
按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。
本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。