线性回归分析（一）：简单线性回归

本节导读

这一节和下一节对应大纲应用统计学第 5 条「线性回归分析」。本节讲前半：散点图，简单线性回归模型及其基本理论假设，简单线性回归模型的基本特征，回归参数的估计，相关系数与可决系数，方差分析表与回归效果显著性检验，回归系数的置信区间与假设检验，估计和预测。多元线性回归和模型适宜性评价放在下一节。

学完你应当能：看散点图判断相关关系的类型；用最小二乘法算出回归方程；读懂方差分析表、算出 F 和可决系数；对斜率作 t 检验、求置信区间；用回归方程作点预测并区分两种区间。

散点图与相关关系

把每一对观测值 $(x_i,y_i)$(xi​,yi​) 画成平面上的点，就是散点图。由散点图可以判断相关关系的类型：

点的形状	相关关系
大致沿一条向右上方的直线分布	正线性相关
大致沿一条向右下方的直线分布	负线性相关
沿一条曲线分布	非线性相关
杂乱无章、没有趋势	不相关

点越贴近直线，线性相关越强。散点图是选模型的第一步：明显弯曲的就不该硬套直线。

简单线性回归模型及其基本理论假设

$$y=\beta_0+\beta_1x+\varepsilon$$y=β0​+β1​x+ε

$\beta_0$β0​ 是截距，$\beta_1$β1​ 是斜率，$\varepsilon$ε 是误差项。基本理论假设：

1. 误差项的期望为 0：$E(\varepsilon)=0$E(ε)=0；
2. 对所有 $x$x，误差项的方差都相同（同方差）：$D(\varepsilon)=\sigma^2$D(ε)=σ2；
3. 各误差项相互独立；
4. 误差项服从正态分布；
5. 自变量 $x$x 是确定的量，与误差项无关。

基本特征：在这些假设下，$E(y)=\beta_0+\beta_1x$E(y)=β0​+β1​x，即 $y$y 的平均值是 $x$x 的线性函数；每个 $x$x 对应的 $y$y 服从正态分布、方差相同；$\beta_1$β1​ 表示 $x$x 每增加 1 个单位，$y$y 平均变化 $\beta_1$β1​ 个单位。

回归参数的估计：最小二乘法

最小二乘法让残差平方和 $\sum(y_i-\hat{y}_i)^2$∑(yi​−y^​i​)2 最小。记 $S_{xx}=\sum(x_i-\bar{x})^2$Sxx​=∑(xi​−xˉ)2，$S_{xy}=\sum(x_i-\bar{x})(y_i-\bar{y})$Sxy​=∑(xi​−xˉ)(yi​−yˉ​)，$S_{yy}=\sum(y_i-\bar{y})^2$Syy​=∑(yi​−yˉ​)2：

$$b_1=\frac{S_{xy}}{S_{xx}},\qquad b_0=\bar{y}-b_1\bar{x}$$b1​=Sxx​Sxy​​,b0​=yˉ​−b1​xˉ

估计的回归直线一定经过点 $(\bar{x},\bar{y})$(xˉ,yˉ​)，残差之和为 0。

相关系数与可决系数

相关系数 $r=\dfrac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}$r=Sxx​Syy​​Sxy​​，取值在 $-1$−1 到 $1$1 之间，符号与斜率 $b_1$b1​ 相同，绝对值越接近 1 线性关系越强。

离差平方和可以分解为

$$\underbrace{\sum(y_i-\bar{y})^2}_{SST}=\underbrace{\sum(\hat{y}_i-\bar{y})^2}_{SSR}+\underbrace{\sum(y_i-\hat{y}_i)^2}_{SSE}$$SST∑(yi​−yˉ​)2​​=SSR∑(y^​i​−yˉ​)2​​+SSE∑(yi​−y^​i​)2​​

可决系数 $R^2=\dfrac{SSR}{SST}=1-\dfrac{SSE}{SST}$R2=SSTSSR​=1−SSTSSE​，表示 $y$y 的总变差中能由回归方程解释的比例。简单线性回归中 $R^2=r^2$R2=r2。

方差分析表与回归效果显著性检验

来源	平方和	自由度	均方	F
回归	SSR	1	MSR = SSR ÷ 1	MSR ÷ MSE
残差	SSE	$n-2$n−2	MSE = SSE ÷ $(n-2)$(n−2)
总计	SST	$n-1$n−1

检验 $H_0:\beta_1=0$H0​:β1​=0（回归效果不显著）：$F=\dfrac{MSR}{MSE}\sim F(1,n-2)$F=MSEMSR​∼F(1,n−2)，$F$F 大于临界值就认为回归效果显著。$s_e=\sqrt{MSE}$se​=MSE​ 叫估计标准误差，衡量实际值围绕回归直线的离散程度。

回归系数的置信区间、检验与预测

斜率的标准误 $s_{b_1}=\dfrac{s_e}{\sqrt{S_{xx}}}$sb1​​=Sxx​​se​​。

• 检验 $H_0:\beta_1=0$H0​:β1​=0：$t=\dfrac{b_1}{s_{b_1}}\sim t(n-2)$t=sb1​​b1​​∼t(n−2)；简单回归中 $t^2=F$t2=F，两种检验结论一致。
• 斜率的置信区间：$b_1\pm t_{\alpha/2}(n-2)\,s_{b_1}$b1​±tα/2​(n−2)sb1​​。

估计和预测：给定 $x_0$x0​，点估计 $\hat{y}_0=b_0+b_1x_0$y^​0​=b0​+b1​x0​。区间有两种：

区间	对象	公式里的根号部分
平均值的置信区间	$x=x_0$x=x0​ 时 $y$y 的平均值	$\sqrt{\dfrac{1}{n}+\dfrac{(x_0-\bar{x})^2}{S_{xx}}}$n1​+Sxx​(x0​−xˉ)2​​
个别值的预测区间	$x=x_0$x=x0​ 时 $y$y 的一个具体值	$\sqrt{1+\dfrac{1}{n}+\dfrac{(x_0-\bar{x})^2}{S_{xx}}}$1+n1​+Sxx​(x0​−xˉ)2​​

两种区间都是 $\hat{y}_0\pm t_{\alpha/2}(n-2)\,s_e\times$y^​0​±tα/2​(n−2)se​×（根号部分）。$x_0$x0​ 离 $\bar{x}$xˉ 越远，区间越宽；超出样本 $x$x 的范围外推要格外谨慎。

易错提醒

• ❌ 相关系数很高，说明 $x$x 是 $y$y 的原因。
  ✅ 相关只说明数量上一起变动，因果要靠理论和实验判断。

• ❌ 可决系数 $R^2$R2 可以是负数。
  ✅ 有截距的最小二乘回归中 $0\le R^2\le1$0≤R2≤1，负的只可能是相关系数。

• ❌ 方差分析表里残差的自由度是 $n-1$n−1。
  ✅ 简单回归估计了两个参数，残差自由度是 $n-2$n−2；总计才是 $n-1$n−1。

• ❌ 回归方程拟合得好，就可以拿到样本范围之外随意预测。
  ✅ 样本范围外的关系可能变了，外推要谨慎。

例题精讲

例题 1（最小二乘与检验）

某企业 5 个季度的培训投入 $x$x（十万元）与劳动生产率提升 $y$y（%）为：$(2,5)$(2,5)、$(4,9)$(4,9)、$(6,10)$(6,10)、$(8,14)$(8,14)、$(10,17)$(10,17)。求回归方程、可决系数和 F 值。

答案：$\hat{y}=2.3+1.45x$y^​=2.3+1.45x，$R^2\approx0.978$R2≈0.978，$F\approx132.8$F≈132.8。

解析：$\bar{x}=6$xˉ=6，$\bar{y}=11$yˉ​=11；$S_{xx}=16+4+0+4+16=40$Sxx​=16+4+0+4+16=40，$S_{xy}=24+4+0+6+24=58$Sxy​=24+4+0+6+24=58，$S_{yy}=86$Syy​=86。$b_1=58\div40=1.45$b1​=58÷40=1.45，$b_0=11-1.45\times6=2.3$b0​=11−1.45×6=2.3。$SSR=b_1S_{xy}=84.1$SSR=b1​Sxy​=84.1，$SSE=86-84.1=1.9$SSE=86−84.1=1.9，$R^2=84.1\div86\approx0.978$R2=84.1÷86≈0.978。$MSE=1.9\div3\approx0.633$MSE=1.9÷3≈0.633，$F=84.1\div0.633\approx132.8$F=84.1÷0.633≈132.8。解释：培训投入每增加 10 万元，生产率平均提高约 1.45 个百分点，回归方程解释了约 97.8% 的变差。

例题 2（方差分析表）

某回归分析 $n=20$n=20，$SST=500$SST=500，$SSR=400$SSR=400。求 F 值与可决系数。

答案：$F=72$F=72，$R^2=0.8$R2=0.8。

解析：$SSE=500-400=100$SSE=500−400=100，$MSE=100\div18\approx5.556$MSE=100÷18≈5.556，$MSR=400$MSR=400，$F=400\div5.556=72$F=400÷5.556=72；$R^2=400\div500=0.8$R2=400÷500=0.8。

本节小结

• 散点图判断正、负、非线性相关或不相关；直线模型有五条基本假设。
• 最小二乘：$b_1=S_{xy}/S_{xx}$b1​=Sxy​/Sxx​，$b_0=\bar{y}-b_1\bar{x}$b0​=yˉ​−b1​xˉ，直线过 $(\bar{x},\bar{y})$(xˉ,yˉ​)。
• $SST=SSR+SSE$SST=SSR+SSE；$R^2=SSR/SST$R2=SSR/SST，简单回归 $R^2=r^2$R2=r2，$r$r 的符号同 $b_1$b1​。
• $F=MSR/MSE\sim F(1,n-2)$F=MSR/MSE∼F(1,n−2)；$t=b_1/s_{b_1}\sim t(n-2)$t=b1​/sb1​​∼t(n−2)，$t^2=F$t2=F。
• 预测区间比同一点的平均值置信区间宽，离 $\bar{x}$xˉ 越远越宽。