线性回归分析（二）：多元回归与适宜性评价

本节导读

这一节接着讲大纲应用统计学第 5 条「线性回归分析」的后半：多元线性回归模型及其基本理论假设，回归参数的最小二乘估计，参数估计量的统计特性，复可决系数、方差分析表与回归效果显著性检验（全检验），回归系数的假设检验（偏检验），回归系数的置信区间，应用拟合模型进行估计和预测；以及大纲要求掌握的「线性回归模型适宜性评价的内容：非线性、异方差性、序列相关性、非正态性和多重共线性，应用残差散点图判断」。

学完你应当能：解释偏回归系数；由方差分析表算出复可决系数和 F 值并作全检验；对单个系数作偏检验；看残差散点图说出模型哪里不合适。

多元线性回归模型及其基本理论假设

$$y=\beta_0+\beta_1x_1+\beta_2x_2+\dots+\beta_kx_k+\varepsilon$$y=β0​+β1​x1​+β2​x2​+⋯+βk​xk​+ε

基本理论假设与简单回归相同（误差项期望为 0、同方差、相互独立、服从正态分布），另加一条：各自变量之间不存在完全的线性关系。

$\beta_j$βj​ 叫偏回归系数：在其他自变量保持不变的条件下，$x_j$xj​ 每增加 1 个单位，$y$y 平均变化 $\beta_j$βj​ 个单位。各自变量单位不同，不能直接比系数大小来判断谁的影响大。

最小二乘估计及其统计特性

仍然让残差平方和最小，解出 $b_0,b_1,\dots,b_k$b0​,b1​,…,bk​（用矩阵写是 $b=(X^{\mathrm{T}}X)^{-1}X^{\mathrm{T}}y$b=(XTX)−1XTy，考试一般给出计算结果）。在基本假设成立时，最小二乘估计量有三条统计特性：线性（是 $y$y 的线性函数）、无偏（期望等于真实参数）、在所有线性无偏估计量中方差最小；误差项正态时，$b_j$bj​ 也服从正态分布。

复可决系数与全检验

来源	平方和	自由度	均方
回归	SSR	$k$k	MSR = SSR ÷ $k$k
残差	SSE	$n-k-1$n−k−1	MSE = SSE ÷ $(n-k-1)$(n−k−1)
总计	SST	$n-1$n−1

复可决系数 $R^2=\dfrac{SSR}{SST}$R2=SSTSSR​，表示全部自变量一起解释了 $y$y 的总变差的比例；$R=\sqrt{R^2}$R=R2​ 叫复相关系数。增加自变量 $R^2$R2 只会变大不会变小，所以比较不同个数自变量的模型时，教材常用修正的复可决系数（拓展，大纲未单列，了解即可）。

全检验：$H_0:\beta_1=\beta_2=\dots=\beta_k=0$H0​:β1​=β2​=⋯=βk​=0，

$$F=\frac{SSR/k}{SSE/(n-k-1)}\sim F(k,\ n-k-1)$$F=SSE/(n−k−1)SSR/k​∼F(k, n−k−1)

$F$F 大于临界值，说明这些自变量整体上与 $y$y 有显著的线性关系，但不说明每一个自变量都显著。

偏检验、置信区间与预测

偏检验：逐个检验 $H_0:\beta_j=0$H0​:βj​=0，$t_j=\dfrac{b_j}{s_{b_j}}\sim t(n-k-1)$tj​=sbj​​bj​​∼t(n−k−1)；不显著的自变量可以考虑剔除。回归系数的置信区间：$b_j\pm t_{\alpha/2}(n-k-1)\,s_{b_j}$bj​±tα/2​(n−k−1)sbj​​。

估计和预测：把一组自变量值代入拟合模型得到点估计；区间估计的思路与简单回归相同，个别值的预测区间宽于平均值的置信区间。

线性回归模型的适宜性评价

模型拟合完要检查基本假设是否成立，主要工具是残差散点图（残差对拟合值、对某个自变量或对时间顺序作图）。假设都成立时，残差应在 0 上下随机散布、宽度大致不变、没有规律。

问题	残差图或其他迹象	常见处理
非线性	残差随自变量呈弯曲的系统形状，先正后负再正	加平方项或对变量作变换
异方差性	残差的散布宽度随拟合值增大而越来越宽（或越来越窄）	对变量作变换、加权最小二乘
序列相关性	按时间顺序看，残差成串地同号，正的跟着正的、负的跟着负的	加入滞后变量或改用差分（时间序列数据多见）
非正态性	残差直方图明显偏斜，正态概率图上的点偏离直线	变换因变量，检查异常值
多重共线性	自变量彼此高度相关；全检验显著而偏检验多数不显著，系数符号与常识相反、增删数据后变化很大	剔除高度相关的自变量、合并变量

前四个问题是误差项假设被破坏；多重共线性是自变量之间的问题，在残差图上未必看得出，要看自变量的相关系数和系数的表现。

易错提醒

• ❌ 偏回归系数越大，这个自变量对因变量的影响就越大。
  ✅ 自变量单位不同，系数大小不能直接比较。

• ❌ 全检验显著，说明每个自变量都显著。
  ✅ 全检验只说明自变量整体有线性关系，单个自变量要看偏检验。

• ❌ 多加几个自变量，$R^2$R2 变大了，模型就更好。
  ✅ 多加自变量 $R^2$R2 只增不减，要结合偏检验、修正后的指标和实际意义判断。

• ❌ 残差图出现规律，只要换个显著性水平就行。
  ✅ 残差有规律说明模型假设被破坏，要改模型而不是改检验标准。

例题精讲

例题 1（全检验）

某连锁企业用 30 家门店的数据，以月营业额为因变量，以营业面积、周边人口、竞争门店数 3 个变量为自变量作多元回归，得 $SST=1200$SST=1200，$SSE=300$SSE=300。求复可决系数和 F 值，并在 $\alpha=0.05$α=0.05 下作全检验（$F_{0.05}(3,26)=2.98$F0.05​(3,26)=2.98）。

答案：$R^2=0.75$R2=0.75，$F=26$F=26，回归整体显著。

解析：$SSR=1200-300=900$SSR=1200−300=900，$R^2=900\div1200=0.75$R2=900÷1200=0.75。$MSR=900\div3=300$MSR=900÷3=300，$MSE=300\div(30-3-1)\approx11.54$MSE=300÷(30−3−1)≈11.54，$F=300\div11.54\approx26.0>2.98$F=300÷11.54≈26.0>2.98，拒绝 $H_0$H0​。解释：三个自变量合起来能解释营业额变差的 75%，整体线性关系显著；哪个变量单独显著，还要看偏检验。

例题 2（简述）

简述线性回归模型适宜性评价的内容和主要方法。

答题要点示范：（1）内容：检查模型是否存在非线性、异方差性、序列相关性、非正态性和多重共线性。（2）方法：主要应用残差散点图——残差无规律地分布在 0 附近说明假设基本成立；呈弯曲形状提示非线性，宽度扩张提示异方差，按时间成串同号提示序列相关，直方图偏斜提示非正态。（3）多重共线性看自变量间的相关程度和系数是否稳定、偏检验是否普遍不显著。（4）发现问题后改模型，如变换变量、剔除变量。

点评：先列五项，再讲残差图怎么看，最后说处理思路；五项名称要与大纲一致。

本节小结

• 多元回归多一条假设：自变量之间没有完全的线性关系；偏回归系数是其他变量不变时的平均影响。
• 最小二乘估计量线性、无偏、方差最小。
• 复可决系数 $R^2=SSR/SST$R2=SSR/SST；全检验 $F=\dfrac{SSR/k}{SSE/(n-k-1)}$F=SSE/(n−k−1)SSR/k​。
• 偏检验 $t_j=b_j/s_{b_j}$tj​=bj​/sbj​​，自由度 $n-k-1$n−k−1。
• 适宜性评价五项：非线性、异方差性、序列相关性、非正态性、多重共线性，主要看残差散点图。