杭州紫金港培训学校(紫金港专升本)杭州紫金港培训学校(紫金港专升本)
同等学力申硕信息与通信工程学科综合考前辅导第二门 信号处理(选考)第 10 节 / 共 32 节约 30 分钟免费

信号处理(二):离散时间随机信号和估计理论基础

对应信号处理(二):随机序列的均值、自相关、自协方差与高阶统计量,平稳与各态历经,自相关矩阵、功率谱与互谱,随机信号通过线性系统,白噪与谐波过程,估计的基本概念、常用数字特征的估计与最大似然估计。

本节考点:随机序列的数字特征自相关矩阵与功率谱随机信号通过线性系统白噪与谐波过程估计的基本概念最大似然估计

本节导读

这一节对应信号处理「(二)离散时间随机信号和估计理论基础」四条:

  1. 离散随机信号的主要数字特征:均值、自相关、自协方差、高阶统计量。平稳性、广义平稳、各态历经的概念,时间平均和集合平均。几种常见随机分布。
  2. 广义平稳信号的自相关序列的性质、互相关的定义、随机信号矢量、自相关矩阵、自相关矩阵的性质,功率谱密度(PSD)、互谱密度。
  3. 随机信号通过线性系统:输入输出信号的互相关、输出信号的自相关,输出功率谱密度。常用的基本过程:白噪过程和谐波过程的自相关和功率谱。
  4. 估计的基本概念、常用数字特征量(如均值、方差、自相关序列)的估计、最大似然估计。

它和随机数学第 5、8 节讲的是同一套概念,只是对象换成了离散序列、记号换成了信号处理的习惯。学完要做到:会判断一个矩阵能不能是自相关矩阵;会求输出的均值、互相关与互谱;会写白噪与谐波过程的自相关和功率谱;会评价估计量的偏差与方差,会求最大似然估计。

本节记号:自相关 rx(m)=E[x(n)x(n+m)]r_x(m)=E[x(n)x(n+m)]rx​(m)=E[x(n)x(n+m)](实序列),互相关 rxy(m)=E[x(n)y(n+m)]r_{xy}(m)=E[x(n)y(n+m)]rxy​(m)=E[x(n)y(n+m)];功率谱 Sx(ω)S_x(\omega)Sx​(ω)、互谱 Sxy(ω)S_{xy}(\omega)Sxy​(ω),ω\omegaω 为数字频率;自相关矩阵 R\mathbf RR;估计量加「 ^\hat{\ } ^」。

数字特征、平稳与各态历经

随机序列 x(n)x(n)x(n) 的均值 mx=E[x(n)]m_x=E[x(n)]mx​=E[x(n)],自相关 rx(m)r_x(m)rx​(m),自协方差 cx(m)=rx(m)−mx2c_x(m)=r_x(m)-m_x^2cx​(m)=rx​(m)−mx2​(广义平稳时)。高阶统计量指三阶及以上的矩和累积量:高斯序列三阶及以上的累积量都为零,所以高阶累积量可以「看不见」高斯噪声;它们还保留了自相关丢掉的相位信息,可用于非最小相位系统辨识。

严平稳指全部统计特性平移不变,广义平稳只要求均值为常数、自相关只依赖时间差。各态历经指时间平均等于集合平均:集合平均是在同一时刻对无数条样本取平均,时间平均是沿一条样本对时间取平均。实际中常常只有一条记录,只能假定各态历经,用时间平均去估计均值和自相关。

几种常见随机分布:均匀分布(量化误差、随机相位)、高斯分布(热噪声)、瑞利分布(窄带高斯噪声的包络)、指数与泊松分布(到达间隔与计数)。

自相关序列、自相关矩阵与功率谱

广义平稳实序列的自相关性质:rx(0)≥0r_x(0)\ge 0rx​(0)≥0 是平均功率;rx(−m)=rx(m)r_x(-m)=r_x(m)rx​(−m)=rx​(m);∣rx(m)∣≤rx(0)\lvert r_x(m)\rvert\le r_x(0)∣rx​(m)∣≤rx​(0)。

把 MMM 个相邻样本排成随机信号矢量 x(n)=[x(n),x(n−1),⋯ ,x(n−M+1)]T\mathbf x(n)=[x(n),x(n-1),\cdots,x(n-M+1)]^{\mathrm T}x(n)=[x(n),x(n−1),⋯,x(n−M+1)]T,它的自相关矩阵 R=E[x(n)xT(n)]\mathbf R=E[\mathbf x(n)\mathbf x^{\mathrm T}(n)]R=E[x(n)xT(n)] 有三条性质:对称;托普利兹(每条对角线上的元素相同,第 iii 行第 jjj 列是 rx(i−j)r_x(i-j)rx​(i−j));非负定(特征值都不小于零)。

功率谱密度是自相关的 DTFT:

Sx(ω)=∑m=−∞∞rx(m)e−jωmS_x(\omega)=\sum_{m=-\infty}^{\infty}r_x(m)e^{-j\omega m}Sx​(ω)=m=−∞∑∞​rx​(m)e−jωm

它是非负的实偶函数(实序列时);互谱密度 Sxy(ω)S_{xy}(\omega)Sxy​(ω) 是互相关的 DTFT,一般是复数。

随机信号通过线性系统

广义平稳的 x(n)x(n)x(n) 通过冲激响应为 h(n)h(n)h(n) 的稳定 LTI 系统,输出 y(n)y(n)y(n) 也广义平稳,且:

量时域频域
均值my=mx∑nh(n)m_y=m_x\sum_nh(n)my​=mx​∑n​h(n)my=mxH(ej0)m_y=m_xH(e^{j0})my​=mx​H(ej0)
输入输出互相关rxy(m)=h(m)∗rx(m)r_{xy}(m)=h(m)*r_x(m)rxy​(m)=h(m)∗rx​(m)Sxy(ω)=H(ejω)Sx(ω)S_{xy}(\omega)=H(e^{j\omega})S_x(\omega)Sxy​(ω)=H(ejω)Sx​(ω)
输出自相关ry(m)=rx(m)∗h(m)∗h(−m)r_y(m)=r_x(m)*h(m)*h(-m)ry​(m)=rx​(m)∗h(m)∗h(−m)Sy(ω)=∣H(ejω)∣2Sx(ω)S_y(\omega)=\lvert H(e^{j\omega})\rvert^2S_x(\omega)Sy​(ω)=∣H(ejω)∣2Sx​(ω)

互相关的定义有两种写法,本课用 rxy(m)=E[x(n)y(n+m)]r_{xy}(m)=E[x(n)y(n+m)]rxy​(m)=E[x(n)y(n+m)];若定义成 E[y(n)x(n+m)]E[y(n)x(n+m)]E[y(n)x(n+m)],结果要把 mmm 换成 −m-m−m、频域取共轭,做题时先看清定义。

白噪过程与谐波过程

白噪过程:均值为零、rw(m)=σw2δ(m)r_w(m)=\sigma_w^2\delta(m)rw​(m)=σw2​δ(m),功率谱 Sw(ω)=σw2S_w(\omega)=\sigma_w^2Sw​(ω)=σw2​ 为常数。它通过系统后,输出谱的形状完全由 ∣H∣2\lvert H\rvert^2∣H∣2 决定。

谐波过程:x(n)=Acos⁡(ω0n+ϕ)x(n)=A\cos(\omega_0n+\phi)x(n)=Acos(ω0​n+ϕ),AAA、ω0\omega_0ω0​ 为常数,ϕ\phiϕ 在 [−π,π)[-\pi,\pi)[−π,π) 上均匀分布。它广义平稳,

rx(m)=A22cos⁡ω0mr_x(m)=\frac{A^2}{2}\cos\omega_0mrx​(m)=2A2​cosω0​m

自相关不衰减,功率谱是 ±ω0\pm\omega_0±ω0​ 处的两根谱线 πA22[δ(ω−ω0)+δ(ω+ω0)]\dfrac{\pi A^2}{2}[\delta(\omega-\omega_0)+\delta(\omega+\omega_0)]2πA2​[δ(ω−ω0​)+δ(ω+ω0​)](在一个周期内),平均功率 A22\dfrac{A^2}{2}2A2​。谐波加白噪声时两部分功率相加,第 11 节的谐波模型就由此而来。

估计的基本概念与常用估计

用 NNN 个观测构造的统计量 θ^\hat\thetaθ^ 估计参数 θ\thetaθ:偏差 b=E(θ^)−θb=E(\hat\theta)-\thetab=E(θ^)−θ,为零叫无偏;方差 D(θ^)D(\hat\theta)D(θ^) 越小越好;均方误差 =b2+D(θ^)=b^2+D(\hat\theta)=b2+D(θ^);N→∞N\to\inftyN→∞ 时依概率收敛于真值叫一致估计。

  • 均值:m^=1N∑x(n)\hat m=\dfrac1N\sum x(n)m^=N1​∑x(n),无偏;独立观测时 D(m^)=σ2ND(\hat m)=\dfrac{\sigma^2}{N}D(m^)=Nσ2​。
  • 方差:除以 NNN 的样本方差有偏,除以 N−1N-1N−1 的无偏。
  • 自相关:r^(m)=1N∑n=0N−1−∣m∣x(n)x(n+∣m∣)\hat r(m)=\dfrac1N\sum_{n=0}^{N-1-\lvert m\rvert}x(n)x(n+\lvert m\rvert)r^(m)=N1​∑n=0N−1−∣m∣​x(n)x(n+∣m∣) 有偏但保证自相关矩阵非负定;除以 N−∣m∣N-\lvert m\rvertN−∣m∣ 的无偏,但大延迟时方差很大。

最大似然估计:把观测的联合概率(密度)看成参数的函数 L(θ)L(\theta)L(θ),取使它最大的 θ^\hat\thetaθ^。做法是写对数似然、对参数求导令其为零。最大似然估计在样本多时渐近无偏、渐近有效,是参数估计的基本方法。

易错提醒

  • ❌ 有偏的估计量一定比无偏的差。
    ✅ 好坏要看均方误差;有偏的自相关估计方差小、还能保证自相关矩阵非负定,谱估计里反而常用。

  • ❌ 广义平稳序列一定是各态历经的。
    ✅ 各态历经是另加的条件;平稳序列若带一个在整条样本上不变的随机量,时间平均就不等于集合平均。

  • ❌ 均匀分布的随机相位只要在任意一段区间上均匀,谐波过程就平稳。
    ✅ 相位必须在一个完整周期(长 2π2\pi2π 的区间)上均匀,均值才与时间无关。

例题精讲

例题 1(计算:由自相关值写自相关矩阵并验证功率谱)

广义平稳实序列 rx(0)=3r_x(0)=3rx​(0)=3,rx(1)=1.5r_x(1)=1.5rx​(1)=1.5,∣m∣≥2\lvert m\rvert\ge 2∣m∣≥2 时 rx(m)=0r_x(m)=0rx​(m)=0。写出 3×3 自相关矩阵,求它的特征值,并写出功率谱。

解:

R=[31.501.531.501.53]\mathbf R=\begin{bmatrix}3&1.5&0\\1.5&3&1.5\\0&1.5&3\end{bmatrix}R=​31.50​1.531.5​01.53​​

它是三对角托普利兹矩阵,特征值 3+2×1.5cos⁡kπ43+2\times 1.5\cos\dfrac{k\pi}{4}3+2×1.5cos4kπ​(k=1,2,3k=1,2,3k=1,2,3),即 3+1.52≈5.123+1.5\sqrt2\approx 5.123+1.52​≈5.12、3、3−1.52≈0.883-1.5\sqrt2\approx 0.883−1.52​≈0.88,都为正,非负定。功率谱 Sx(ω)=3+3cos⁡ω≥0S_x(\omega)=3+3\cos\omega\ge 0Sx​(ω)=3+3cosω≥0。

点评:自相关只到 m=1m=1m=1 不为零,说明它是一阶滑动平均过程;功率谱在 ω=π\omega=\piω=π 处为零。

例题 2(计算:高斯样本的最大似然估计)

独立同分布的高斯观测 3、5、4、8,求均值和方差的最大似然估计,并说明方差估计是否无偏。

解:对数似然 ln⁡L=−N2ln⁡(2πσ2)−12σ2∑(xi−μ)2\ln L=-\dfrac N2\ln(2\pi\sigma^2)-\dfrac{1}{2\sigma^2}\sum(x_i-\mu)^2lnL=−2N​ln(2πσ2)−2σ21​∑(xi​−μ)2,分别对 μ\muμ、σ2\sigma^2σ2 求导令其为零:μ^=x‾=5\hat\mu=\overline x=5μ^​=x=5,σ^2=1N∑(xi−x‾)2=4+0+1+94=3.5\hat\sigma^2=\dfrac1N\sum(x_i-\overline x)^2=\dfrac{4+0+1+9}{4}=3.5σ^2=N1​∑(xi​−x)2=44+0+1+9​=3.5。它除以 NNN,是有偏的;无偏估计要除以 N−1N-1N−1,为 143≈4.67\dfrac{14}{3}\approx 4.67314​≈4.67。

点评:最大似然不保证无偏,但样本越多,两者差别越小。

本节小结

  • 数字特征:均值、自相关、自协方差、高阶统计量;高斯序列高阶累积量为零。
  • 自相关矩阵:对称、托普利兹、非负定;功率谱非负,是自相关的 DTFT。
  • 过线性系统:my=mxH(ej0)m_y=m_xH(e^{j0})my​=mx​H(ej0),Sxy=HSxS_{xy}=HS_xSxy​=HSx​,Sy=∣H∣2SxS_y=\lvert H\rvert^2S_xSy​=∣H∣2Sx​;先看清互相关的定义。
  • 白噪谱为常数;谐波过程自相关不衰减,功率谱是线谱,平均功率 A2/2A^2/2A2/2。
  • 估计:偏差、方差、均方误差、一致性;最大似然估计令对数似然的导数为零。

学完练一练

按本节考点从本课的课后练习里抽题(每次 10 道以内),做完看解析、错题自动进错题本。

本节内容由 AI 辅助编写,配图由 AI 生成,仅供备考参考;考试要求以《全国各类成人高等学校招生考试大纲(2024 年版)》及浙江省教育考试院当年公布为准。

我要提问免费报名咨询