信号处理(二):离散时间随机信号和估计理论基础
对应信号处理(二):随机序列的均值、自相关、自协方差与高阶统计量,平稳与各态历经,自相关矩阵、功率谱与互谱,随机信号通过线性系统,白噪与谐波过程,估计的基本概念、常用数字特征的估计与最大似然估计。
本节导读
这一节对应信号处理「(二)离散时间随机信号和估计理论基础」四条:
- 离散随机信号的主要数字特征:均值、自相关、自协方差、高阶统计量。平稳性、广义平稳、各态历经的概念,时间平均和集合平均。几种常见随机分布。
- 广义平稳信号的自相关序列的性质、互相关的定义、随机信号矢量、自相关矩阵、自相关矩阵的性质,功率谱密度(PSD)、互谱密度。
- 随机信号通过线性系统:输入输出信号的互相关、输出信号的自相关,输出功率谱密度。常用的基本过程:白噪过程和谐波过程的自相关和功率谱。
- 估计的基本概念、常用数字特征量(如均值、方差、自相关序列)的估计、最大似然估计。
它和随机数学第 5、8 节讲的是同一套概念,只是对象换成了离散序列、记号换成了信号处理的习惯。学完要做到:会判断一个矩阵能不能是自相关矩阵;会求输出的均值、互相关与互谱;会写白噪与谐波过程的自相关和功率谱;会评价估计量的偏差与方差,会求最大似然估计。
本节记号:自相关 rx(m)=E[x(n)x(n+m)](实序列),互相关 rxy(m)=E[x(n)y(n+m)];功率谱 Sx(ω)、互谱 Sxy(ω),ω 为数字频率;自相关矩阵 R;估计量加「 ^」。
数字特征、平稳与各态历经
随机序列 x(n) 的均值 mx=E[x(n)],自相关 rx(m),自协方差 cx(m)=rx(m)−mx2(广义平稳时)。高阶统计量指三阶及以上的矩和累积量:高斯序列三阶及以上的累积量都为零,所以高阶累积量可以「看不见」高斯噪声;它们还保留了自相关丢掉的相位信息,可用于非最小相位系统辨识。
严平稳指全部统计特性平移不变,广义平稳只要求均值为常数、自相关只依赖时间差。各态历经指时间平均等于集合平均:集合平均是在同一时刻对无数条样本取平均,时间平均是沿一条样本对时间取平均。实际中常常只有一条记录,只能假定各态历经,用时间平均去估计均值和自相关。
几种常见随机分布:均匀分布(量化误差、随机相位)、高斯分布(热噪声)、瑞利分布(窄带高斯噪声的包络)、指数与泊松分布(到达间隔与计数)。
自相关序列、自相关矩阵与功率谱
广义平稳实序列的自相关性质:rx(0)≥0 是平均功率;rx(−m)=rx(m);∣rx(m)∣≤rx(0)。
把 M 个相邻样本排成随机信号矢量 x(n)=[x(n),x(n−1),⋯,x(n−M+1)]T,它的自相关矩阵 R=E[x(n)xT(n)] 有三条性质:对称;托普利兹(每条对角线上的元素相同,第 i 行第 j 列是 rx(i−j));非负定(特征值都不小于零)。
功率谱密度是自相关的 DTFT:
Sx(ω)=m=−∞∑∞rx(m)e−jωm它是非负的实偶函数(实序列时);互谱密度 Sxy(ω) 是互相关的 DTFT,一般是复数。
随机信号通过线性系统
广义平稳的 x(n) 通过冲激响应为 h(n) 的稳定 LTI 系统,输出 y(n) 也广义平稳,且:
| 量 | 时域 | 频域 |
|---|---|---|
| 均值 | my=mx∑nh(n) | my=mxH(ej0) |
| 输入输出互相关 | rxy(m)=h(m)∗rx(m) | Sxy(ω)=H(ejω)Sx(ω) |
| 输出自相关 | ry(m)=rx(m)∗h(m)∗h(−m) | Sy(ω)=∣H(ejω)∣2Sx(ω) |
互相关的定义有两种写法,本课用 rxy(m)=E[x(n)y(n+m)];若定义成 E[y(n)x(n+m)],结果要把 m 换成 −m、频域取共轭,做题时先看清定义。
白噪过程与谐波过程
白噪过程:均值为零、rw(m)=σw2δ(m),功率谱 Sw(ω)=σw2 为常数。它通过系统后,输出谱的形状完全由 ∣H∣2 决定。
谐波过程:x(n)=Acos(ω0n+ϕ),A、ω0 为常数,ϕ 在 [−π,π) 上均匀分布。它广义平稳,
rx(m)=2A2cosω0m自相关不衰减,功率谱是 ±ω0 处的两根谱线 2πA2[δ(ω−ω0)+δ(ω+ω0)](在一个周期内),平均功率 2A2。谐波加白噪声时两部分功率相加,第 11 节的谐波模型就由此而来。
估计的基本概念与常用估计
用 N 个观测构造的统计量 θ^ 估计参数 θ:偏差 b=E(θ^)−θ,为零叫无偏;方差 D(θ^) 越小越好;均方误差 =b2+D(θ^);N→∞ 时依概率收敛于真值叫一致估计。
- 均值:m^=N1∑x(n),无偏;独立观测时 D(m^)=Nσ2。
- 方差:除以 N 的样本方差有偏,除以 N−1 的无偏。
- 自相关:r^(m)=N1∑n=0N−1−∣m∣x(n)x(n+∣m∣) 有偏但保证自相关矩阵非负定;除以 N−∣m∣ 的无偏,但大延迟时方差很大。
最大似然估计:把观测的联合概率(密度)看成参数的函数 L(θ),取使它最大的 θ^。做法是写对数似然、对参数求导令其为零。最大似然估计在样本多时渐近无偏、渐近有效,是参数估计的基本方法。
易错提醒
-
❌ 有偏的估计量一定比无偏的差。
✅ 好坏要看均方误差;有偏的自相关估计方差小、还能保证自相关矩阵非负定,谱估计里反而常用。 -
❌ 广义平稳序列一定是各态历经的。
✅ 各态历经是另加的条件;平稳序列若带一个在整条样本上不变的随机量,时间平均就不等于集合平均。 -
❌ 均匀分布的随机相位只要在任意一段区间上均匀,谐波过程就平稳。
✅ 相位必须在一个完整周期(长 2π 的区间)上均匀,均值才与时间无关。
例题精讲
例题 1(计算:由自相关值写自相关矩阵并验证功率谱)
广义平稳实序列 rx(0)=3,rx(1)=1.5,∣m∣≥2 时 rx(m)=0。写出 3×3 自相关矩阵,求它的特征值,并写出功率谱。
解:
R=31.501.531.501.53它是三对角托普利兹矩阵,特征值 3+2×1.5cos4kπ(k=1,2,3),即 3+1.52≈5.12、3、3−1.52≈0.88,都为正,非负定。功率谱 Sx(ω)=3+3cosω≥0。
点评:自相关只到 m=1 不为零,说明它是一阶滑动平均过程;功率谱在 ω=π 处为零。
例题 2(计算:高斯样本的最大似然估计)
独立同分布的高斯观测 3、5、4、8,求均值和方差的最大似然估计,并说明方差估计是否无偏。
解:对数似然 lnL=−2Nln(2πσ2)−2σ21∑(xi−μ)2,分别对 μ、σ2 求导令其为零:μ^=x=5,σ^2=N1∑(xi−x)2=44+0+1+9=3.5。它除以 N,是有偏的;无偏估计要除以 N−1,为 314≈4.67。
点评:最大似然不保证无偏,但样本越多,两者差别越小。
本节小结
- 数字特征:均值、自相关、自协方差、高阶统计量;高斯序列高阶累积量为零。
- 自相关矩阵:对称、托普利兹、非负定;功率谱非负,是自相关的 DTFT。
- 过线性系统:my=mxH(ej0),Sxy=HSx,Sy=∣H∣2Sx;先看清互相关的定义。
- 白噪谱为常数;谐波过程自相关不衰减,功率谱是线谱,平均功率 A2/2。
- 估计:偏差、方差、均方误差、一致性;最大似然估计令对数似然的导数为零。
学完练一练
按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。
本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。