8.4 一元线性回归

8.4.1 变量间的两类关系

早在 19 世纪, 英国生物学家兼统计学家高尔顿(Galton)在研究父与子身高的遗传问题时, 观察了 1078 对父与子, 用 $x$ 表示父亲身高, $y$ 表示成年儿子的身高, 发现将 $(x,y)$ 点在直角坐标系中, 这 1078 个点基本在一条直线附近, 并求出了该直线的方程 (单位: 英寸, 1 英寸 = 2.54 cm):

$$\hat{y}=33.73+0.516x.$$

这表明： - 父亲身高每增加 1 个单位, 其儿子的身高平均增加 0.516 个单位. - 高个子父辈生的儿子平均身高也高,但子辈的身高间的差距低于父辈间的身高差距(为0.516倍). 这便是子代的平均高度有向中心回归的趋势,使得一段时间内人的身高相对稳定.之后回归分析的思想渗透到了数理统计的其他分支中.随着计算机的发展,各种统计软件包的出现,回归分析的应用就越来越广泛. 回归分析处理的是变量与变量间的关系. 变量间常见的关系有两类: 一类称为确定性关系: 这些变量间的关系是完全确定的, 可以用函数 $y=f(x)$ 来表示, $x$ (可以是向量) 给定后, $y$ 的值就唯一确定了. 譬如正方形的面积 $S$ 与边长 $a$ 之间有关系 $S=a^2$ , 电路中有欧姆定律 $V=IR$ 等. 另一类称为相关关系: 变量间有关系, 但是不能用函数来表示. 譬如, 人的身高 $x$ 与体重 $y$ 两者间有相关关系, 一般来讲, 身高较高的人体重也较重, 但是同样身高的人的体重可以是不同的, 医学上就利用这两个变量间的相关关系, 给出了一些经验公式来确定一个人是否过于“肥胖”或“瘦小”; 人的脚掌的长度 $x$ 与身高 $y$ 两者间也有相关关系, 一般来讲, 脚掌较长的人身高也较高, 但是同样脚掌长度的人的身高可以是不同的, 早期公安机关在破案时, 常常根据罪犯留下的脚印来推测罪犯的身高. 变量间的相关关系不能用完全确定的函数形式表示,但在平均意义下有一定的定量关系表达式,寻找这种定量关系表达式就是回归分析的主要任务. 回归分析便是研究变量间相关关系的一门学科. 它通过对客观事物中变量的大量观察或试验获得的数据, 去寻找隐藏在数据背后的相关关系, 给出它们的表达形式——回归函数的估计.

8.4.2 一元线性回归模型

设 $y$ 与 $x$ 间有相关关系, 称 $x$ 为自变量 (预报变量), $y$ 为因变量 (响应变量), 在知道 $x$ 取值后, $y$ 的取值并不是确定的, 它是一个随机变量, 因此有一个分布, 这个分布是在知道 $x$ 的取值后 $Y$ 的条件密度函数 $p(y|x)$ , 我们关心的是 $y$ 的均值 $E(Y|x)$ , 它是 $x$ 的函数,这个函数是确定性的:

$$f(x)=E(Y\mid x)={\int }_{-\infty }^{\infty }yp(y\mid x)\mathrm{d}y.\text{\hspace{1em}(8.4.1)}$$

这便是 $y$ 关于 $x$ 的回归函数——条件期望, 也就是我们要寻找的相关关系的表达式. 以上的叙述是在 $x$ 与 $y$ 均为随机变量场合进行的, 这是一类回归问题. 实际中还有第二类回归问题, 其自变量 $x$ 是可控变量 (一般变量), 只有 $y$ 是随机变量, 它们之间的相关关系可用下式表示:

$$y=f(x)+\epsilon ,$$

其中 $\epsilon$ 是随机误差,一般假设 $\epsilon \sim N(0,{\sigma }^2)$ .由于 $\epsilon$ 的随机性,导致 $y$ 是随机变量.本节主要研究第二类回归问题. 进行回归分析首先是回归函数形式的选择,当只有一个自变量时,通常可采用画散点图的方法进行选择,具体见下例.

例 8.4.1

由专业知识知道,合金钢的强度 y (单位: $10^7$ Pa) 与合金钢中碳的含量 x (单位:%) 有关.为了生产强度满足用户需要的合金钢,在冶炼时如何控制碳的含量?如果在冶炼过程中通过化验得知了碳的含量,能否预测这炉合金钢的强度? 为解决这类问题就需要研究两个变量间的关系.首先是收集数据,我们把收集到的数据记为 $(x_i,y_i)(i=1,2,\cdots ,n)$ .本例中,我们收集到12组数据,列于表8.4.1中. 表 8.4.1 合金钢强度 $y$ 与碳含量 $x$ 的数据

序号	x	y	序号	x	y
1	0.10	42.0	7	0.16	49.0
2	0.11	43.0	8	0.17	53.0
3	0.12	45.0	9	0.18	50.0
4	0.13	45.0	10	0.20	55.0
5	0.14	45.0	11	0.21	55.0
6	0.15	47.5	12	0.23	60.0

为找出两个变量间存在的回归函数的形式,可以画一张图:把每一数对 $(x_i,y_i)$ 看成直角坐标系中的一个点,在图上画出$n$个点,称这张图为散点图,见图 8.4.1.

图 8.4.1 合金钢强度及碳含量的散点图

从散点图我们可以看出,12个点基本在一条直线附近,这说明两个变量之间有一个线性相关关系,若记$y$轴方向上的误差为 $\epsilon$ ,这个相关关系可以表示为

$$y={\beta }_0+{\beta }_{1}x+\epsilon .\text{\hspace{1em}(8.4.2)}$$

这便是 $y$ 关于 $x$ 的一元线性回归的数据结构式. 这里总假定 $x$ 为一般变量, 是非随机变量, 其值是可以精确测量或严格控制的, ${\beta }_0,{\beta }_1$ 为未知参数, ${\beta }_1$ 是直线的斜率, 它表示 $x$ 每增加一个单位 $E(y)$ 的增加量. $\epsilon$ 是随机误差, 通常假定

$$E(\epsilon )=0,\mathrm{Var}(\epsilon )={\sigma }^2,\text{\hspace{1em}(8.4.3)}$$

在对未知参数作区间估计或假设检验时,还需要假定误差服从正态分布,即

$$y\sim N({\beta }_0+{\beta }_{1}x,{\sigma }^2).\text{\hspace{1em}(8.4.4)}$$

显然,假定(8.4.4)比(8.4.3)要强. 由于 ${\beta }_0,{\beta }_1$ 均未知, 需要我们从收集到的数据 $(x_i,y_i)(i=1,2,\cdots ,n)$ 出发进行估计. 在收集数据时, 我们一般要求观测独立地进行, 即假定 $y_1,y_2,\cdots ,y_n$ 相互独立. 综合上述诸项假定, 我们可以给出最简单、常用的一元线性回归的统计模型

$$\{\begin{array}{ll}{y}_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i,& i=1,2,\dots ,n,\\ \text{各}{\epsilon }_i\text{独立同分布,其分布为}N(0,{\sigma }^2).& \end{array}\text{\hspace{1em}(8.4.5)}$$

由数据 $(x_i,y_i)(i=1,2,\cdots ,n)$ 可以获得 ${\beta }_0,{\beta }_1$ 的估计 ${\hat{\beta }}_0,{\hat{\beta }}_1$ ，称

$$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x\text{\hspace{1em}(8.4.6)}$$

为 $y$ 关于 $x$ 的经验回归函数, 简称为回归方程, 其图形称为回归直线. 给定 $x=x_0$ 后, 称 ${\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0$ 为回归值 (在不同场合也称其为拟合值、预测值).

8.4.3 回归系数的最小二乘估计

一般采用最小二乘方法估计模型(8.4.5)中的 ${\beta }_0,{\beta }_1$ .令

$$Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2,$$

${\hat{\beta }}_0,{\hat{\beta }}_1$ 应该满足

$$Q({\hat{\beta }}_0,{\hat{\beta }}_1)=\underset{{\beta }_0,{\beta }_1}{\min }Q({\beta }_0,{\beta }_1),$$

这样得到的 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 称为 ${\beta }_0,{\beta }_1$ 的最小二乘估计,记为LSE. 由于 $Q⩾0$ ，且对 ${\beta }_0,{\beta }_1$ 的导数存在，因此最小二乘估计可以通过求偏导数并命其为0而得到

$$\{\begin{array}{l}\frac{\partial Q}{\partial {\beta }_0}=-2{\sum }_{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)=0,\\ \frac{\partial Q}{\partial {\beta }_1}=-2{\sum }_{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i)x_i=0.\end{array}\text{\hspace{1em}(8.4.7)}$$

这组方程称为正规方程组,经过整理,可得

$$\{\begin{array}{l}n{\beta }_0+n\bar{x}{\beta }_1=n\bar{y},\\ n\bar{x}{\beta }_0+\sum x_i^2{\beta }_1=\sum x_i{y}_i,\end{array}\text{\hspace{1em}(8.4.8)}$$

（今后凡是不作说明“Σ”都表示“ ${\sum }_{i=1}^n$ ”）记

$$\overline{x}=\frac{1}{n}\sum x_i,\overline{y}=\frac{1}{n}\sum y_i,$$ $$l_{xy}=\sum (x_i-\overline{x})(y_i-\overline{y})=\sum x_i{y}_i-n\overline{x}\cdot \overline{y}=\sum x_i{y}_i-\frac{1}{n}\sum x_i\sum y_i,$$ $$l_{xx}=\sum (x_i-\overline{x}{)}^2=\sum x_i^2-n{\overline{x}}^2=\sum x_i^2-\frac{1}{n}(\sum x_i{)}^2,$$ $$l_{yy}=\sum (y_i-\overline{y}{)}^2=\sum y_i^2-n{\overline{y}}^2=\sum y_i^2-\frac{1}{n}(\sum y_i{)}^2.$$

解(8.4.8)可得

$$\{\begin{array}{l}{\hat{\beta }}_1=\frac{l_{xy}}{l_{xx}},\\ {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}.\end{array}\text{\hspace{1em}(8.4.9)}$$

这就是参数的最小二乘估计,其计算通常可列表进行,见表8.4.2.

例 8.4.2

使用例8.4.1 中合金钢强度和碳含量数据, 我们可求得回归方程, 见表 8.4.2. 表 8.4.2 合金钢强度和碳含量数据的计算表

$\sum x_i=1.90$	$n=12$	$\sum y_i=589.5$
$\overline{x}=0.1583$		$\overline{y}=49.125$
$\sum x_i^2=0.3194$	$\sum x_i{y}_i=95.805$	$\sum y_i^2=29304.25$
$n{\overline{x}}^2=0.3008$	$n\overline{x}\overline{y}=93.3375$	$n{\overline{y}}^2=28959.19$
$l_{xx}=0.0186$	$l_{xy}=2.4675$	$l_{yy}=345.06$
	${\hat{\beta }}_1=l_{xy}/l_{xx}=132.66$
	${\hat{\beta }}_0=\overline{y}-{\hat{\beta }}_1\overline{x}=28.12$

$(l_{yy}$ 在后面将会用到)由此给出回归方程为

$$\hat{y}=28.12+132.66x.$$

关于最小二乘估计的一些性质罗列在如下定理之中：

定理 8.4.1

在模型(8.4.5)下,有 (1) ${\hat{\beta }}_0\sim N\left({\beta }_0,\left(\frac{1}{n}+\frac{{\overline{x}}^2}{l_{xx}}\right){\sigma }^2\right)$ , ${\hat{\beta }}_1\sim N\left({\beta }_1,\frac{{\sigma }^2}{l_{xx}}\right)$ ; (2) $\mathrm{Cov}({\hat{\beta }}_0,{\hat{\beta }}_1)=-\frac{\bar{x}}{l_{xx}}{\sigma }^2;$ （3）对给定的 $x_0,{\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0\sim N\left({\beta }_0+{\beta }_1{x}_0,\left(\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{l_{xx}}\right){\sigma }^2\right)$ .

证明

利用 $\sum (x_i-\overline{x})=0$ ，可把 ${\hat{\beta }}_1$ 和 ${\hat{\beta }}_0$ 改写为

$${\hat{\beta }}_1=\frac{l_{xy}}{l_{xx}}=\sum \frac{x_i-\bar{x}}{l_{xx}}{y}_i,$$$${\hat{\beta }}_0=\overline{y}-{\hat{\beta }}_1\overline{x}=\sum \left[\frac{1}{n}-\frac{(x_i-\overline{x})\overline{x}}{l_{xx}}\right]y_i.$$

它们是独立正态变量 $y_1,y_2,\cdots ,y_n$ 的线性组合，故都服从正态分布，下面分别求其期望与方差.

$$E({\hat{\beta }}_1)=\sum \frac{x_i-\bar{x}}{l_{xx}}E(y_i)=\sum \frac{x_i-\bar{x}}{l_{xx}}({\beta }_0+{\beta }_1{x}_i)={\beta }_1,$$$$\mathrm{Var}({\hat{\mathbf{\beta }}}_1)=\sum {\left(\frac{x_i-\bar{x}}{l_{xx}}\right)}^2\mathrm{Var}(y_i)=\sum \frac{(x_i-\bar{x}{)}^2}{l_{xx}^2}{\sigma }^2=\frac{{\sigma }^2}{l_{xx}},$$$$E({\hat{\beta }}_0)=E(\bar{y})-E({\hat{\beta }}_1)\bar{x}={\beta }_0+{\beta }_1\bar{x}-{\beta }_1\bar{x}={\beta }_0,$$$$\mathrm{Var}({\hat{\beta }}_0)=\sum {\left[\frac{1}{n}-\frac{(x_i-\bar{x})\bar{x}}{l_{xx}}\right]}^2\mathrm{Var}(y_i)=\left(\frac{1}{n}+\frac{{\bar{x}}^2}{l_{xx}}\right){\sigma }^2,$$

这就证明了(1).进一步,考虑到诸 $y_i$ 之间的独立性,可得

$$\mathrm{Cov}\left({\hat{\mathbf{\beta }}}_0,{\hat{\mathbf{\beta }}}_1\right)=\mathrm{Cov}\left(\sum \left[\frac{1}{n}-\frac{(x_i-\bar{x})\bar{x}}{l_{xx}}\right]y_i,\sum \frac{x_i-\bar{x}}{l_{xx}}{y}_i\right)=\sum \left[\frac{1}{n}-\frac{(x_i-\bar{x})\bar{x}}{l_{xx}}\right]\frac{x_i-\bar{x}}{l_{xx}}{\sigma }^2=-\frac{\bar{x}}{l_{xx}}{\sigma }^2,$$

这就证明了(2).为证明(3)，注意到 ${\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0$ 也是 $y_1,y_2,\cdots ,y_n$ 的线性组合，它也服从正态分布，只需求出其期望与方差即可.

$$E({\hat{y}}_0)=E({\hat{\beta }}_0)+E({\hat{\beta }}_1)x_0={\beta }_0+{\beta }_1{x}_0=E(y_0),$$$$\begin{array}{rl}\mathrm{Var}({\hat{y}}_0)& =\mathrm{Var}({\hat{\beta }}_0)+\mathrm{Var}({\hat{\beta }}_1)x_0^2+2\mathrm{Cov}({\hat{\beta }}_0,{\hat{\beta }}_1)x_0\\ & =\left[\left(\frac{1}{n}+\frac{{\overline{x}}^2}{l_{xx}}\right)+\frac{x_0^2}{l_{xx}}-2\frac{x_0\overline{x}}{l_{xx}}\right]{\sigma }^2=\left[\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{l_{xx}}\right]{\sigma }^2,\end{array}$$

证明完成.

定理8.4.1说明： - ${\hat{\beta }}_0,{\hat{\beta }}_1$ 分别是 ${\beta }_0,{\beta }_1$ 的无偏估计； - ${\hat{y}}_0$ 是 $E(y_0)={\beta }_0+{\beta }_1{x}_0$ 的无偏估计. - 除 $\overline{x}=0$ 外, ${\hat{\beta }}_0$ 与 ${\hat{\beta }}_1$ 是相关的. - 要提高 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 的估计精度（即降低它们的方差）就要求 $n$ 大， $l_{xx}$ 大（即要求 $x_1,x_2,\dots ,x_n$ 较分散）.

8.4.4 回归方程的显著性检验

从回归系数的 LSE 可以看出, 对任意给出的 $n$ 对数据 $(x_i,y_i)$ , 都可以求出 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 从而可写出回归方程 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$ ，但是这样给出的回归方程不一定有意义. 在使用回归方程以前,首先应对回归方程是否有意义进行判断.什么叫回归方程有意义呢?我们知道,建立回归方程的目的是寻找$y$的均值随$x$变化的规律,即找出回归方程 $E(y)={\beta }_0+{\beta }_{1}x$ .如果 ${\beta }_1=0$ ,那么不管$x$如何变化,E($y$)不随$x$的变化作线性变化,那么这时求得的一元线性回归方程就没有意义,或称回归方程不显著.如果 ${\beta }_1\ne 0$ ,那么当$x$变化时,E($y$)随$x$的变化作线性变化,那么这时求得的回归方程就有意义,或称回归方程是显著的. 综上,对回归方程是否有意义作判断就是要对如下的检验问题作出判断:

$$H_0:{\beta }_1=0\mathrm{vs}{H}_1:{\beta }_1\ne 0,\text{\hspace{1em}(8.4.10)}$$

拒绝 $H_0$ 表示回归方程是显著的. 在一元线性回归中有三种等价的检验方法,使用中只要任选其中之一即可.下面分别加以介绍.

一、 $F$ 检验

采用方差分析的思想,我们从数据出发研究各 $y_i$ 不同的原因.首先引入记号并称 ${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i$ 为 $x_i$ 处的回归值,又称 $y_i-{\hat{y}}_i$ 为 $x_i$ 处的残差. 数据总的波动用总偏差平方和

$$S_T=\sum (y_i-\bar{y}{)}^2=l_{yy}$$

表示.引起各 $y_i$ 不同的原因主要有两类因素：其一是 $H_0$ 可能不真，即 ${\beta }_1\ne 0$ ，从而 $E(y)={\beta }_0+{\beta }_{1}x$ 随 $x$ 的变化而变化，即在每一个 $x$ 的观测值处的回归值不同，其波动用回归平方和

$$S_R=\sum ({\hat{y}}_i-\overline{y}{)}^2\text{\hspace{1em}(8.4.11)}$$

表示;其二是其他一切因素,包括随机误差、$x$ 对 $E(y)$ 的非线性影响等,这样在得到回归值以后,$y$ 的观测值与回归值之间还有差距,这可用残差平方和

$$S_e=\sum {\left(y_i-{\hat{y}}_i\right)}^2\text{\hspace{1em}(8.4.12)}$$

表示. 为对上述诸平方和实施方差分析,下面我们要证明重要的平方和分解式,为此首先注意到 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 满足正规方程组(8.4.7),因此有

$$\begin{array}{rl}& \sum (y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)=0\Rightarrow \sum (y_i-{\hat{y}}_i)=0,\\ & \sum (y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)x_i=0\Rightarrow \sum (y_i-{\hat{y}}_i)x_i=0.\end{array}$$

利用 ${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i=\overline{y}+{\hat{\beta }}_1(x_i-\overline{x})$ ，可得

$$\sum \left(y_i-{\hat{y}}_i\right)({\hat{y}}_i-\bar{y})=\sum \left(y_i-{\hat{y}}_i\right)[{\hat{\beta }}_1(x_i-\bar{x})]={\hat{\beta }}_1[\sum \left(y_i-{\hat{y}}_i\right)x_i-\sum \left(y_i-{\hat{y}}_i\right)\bar{x}]=0,$$

从而

$$S_T=\sum (y_i-\bar{y}{)}^2=\sum (y_i-{\hat{y}}_i+{\hat{y}}_i-\bar{y}{)}^2=\sum (y_i-{\hat{y}}_i{)}^2+\sum ({\hat{y}}_i-\bar{y}{)}^2,$$

即

$$S_T=S_R+S_e,\text{\hspace{1em}(8.4.13)}$$

上式就是一元线性回归场合下的平方和分解式. 关于 $S_R$ 和 $S_e$ 所含有的成分可由如下定理说明.

定理 8.4.2

设 $y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i$ ，其中 ${\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n$ 相互独立，且

$$E({\epsilon }_i)=0,\mathrm{Var}({\epsilon }_i)={\sigma }^2,i=1,2,\dots ,n,$$

沿用上面的记号,有

$$\begin{array}{l}E(S_R)={\sigma }^2+{\beta }_1^2{l}_{xx},\\ E(S_e)=(n-2){\sigma }^2,\end{array}\text{\hspace{1em}(8.4.14)}$$

(8.4.15) (8.4.15)式说明 ${\hat{\sigma }}^2=S_e/(n-2)$ 是 ${\sigma }^2$ 的无偏估计.

证明

首先我们可以写出 $S_R$ 的简化公式：

$$S_R=\sum ({\hat{y}}_i-\bar{y}{)}^2=\sum [\bar{y}+{\hat{\beta }}_1(x_i-\bar{x})-\bar{y}{]}^2={\hat{\beta }}_1^2{l}_{xx},\text{\hspace{1em}(8.4.16)}$$

从而

$$E\left(S_R\right)=E\left({\hat{\beta }}_1^2\right)l_{xx}=\left[\mathrm{Var}\left({\hat{\beta }}_1\right)+{\left(E\left({\hat{\beta }}_1\right)\right)}^2\right]l_{xx}=\left(\frac{{\sigma }^2}{l_{xx}}+{\beta }_1^2\right)l_{xx}={\sigma }^2+{\beta }_1^2{l}_{xx},$$

这就证明了(8.4.14).另外

$$\begin{array}{rl}{S}_e& =\sum (y_i-{\hat{y}}_i{)}^2=\sum ({\beta }_0+{\beta }_1{x}_i+{\epsilon }_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i{)}^2\\ & =\sum [({\hat{\beta }}_0-{\beta }_0{)}^2+x_i^2({\hat{\beta }}_1-{\beta }_1{)}^2+{\epsilon }_i^2+2({\hat{\beta }}_0-{\beta }_0)({\hat{\beta }}_1-{\beta }_1)x_i-2({\hat{\beta }}_0-{\beta }_0){\epsilon }_i-2({\hat{\beta }}_1-{\beta }_1)x_i{\epsilon }_i],\end{array}$$

故

$$\begin{array}{rl}E(S_e)& =n\mathrm{Var}({\hat{\beta }}_0)+\sum x_i^2\mathrm{Var}({\hat{\beta }}_1)+n\mathrm{Var}({\epsilon }_i)+2n\overline{x}\mathrm{Cov}({\hat{\beta }}_0,{\hat{\beta }}_1)-\\ & 2\sum E({\hat{\beta }}_0{\epsilon }_i)-2\sum x_{i}E({\hat{\beta }}_1{\epsilon }_i).\end{array}$$

将 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 写成 $y_1,y_2,\cdots ,y_n$ 的线性组合，利用 $y_j$ 与 ${\epsilon }_i(i\ne j)$ 的独立性，有

$$E\left({\hat{\beta }}_0{\epsilon }_i\right)=E\left[{\epsilon }_i\sum _j\left(\frac{1}{n}-\frac{\left(x_j-\bar{x}\right)\bar{x}}{l_{xx}}\right)y_j\right]=\left(\frac{1}{n}-\frac{\left(x_i-\bar{x}\right)\bar{x}}{l_{xx}}\right){\sigma }^2,$$$$E({\hat{\beta }}_1{\epsilon }_i)=E\left[{\epsilon }_i\sum _j\frac{x_j-\bar{x}}{l_{xx}}{y}_j\right]=\frac{x_i-\bar{x}}{l_{xx}}{\sigma }^2,$$

由此即有

$$\sum E({\hat{\beta }}_0{\epsilon }_i)={\sigma }^2,\sum x_{i}E({\hat{\beta }}_1{\epsilon }_i)={\sigma }^2.$$

从而

$$E(S_e)=n\left(\frac{1}{n}+\frac{{\overline{x}}^2}{l_{xx}}\right){\sigma }^2+\sum \frac{x_i^2}{l_{xx}}{\sigma }^2+n{\sigma }^2-\frac{2n{\overline{x}}^2}{l_{xx}}{\sigma }^2-2{\sigma }^2-2{\sigma }^2$$$$=(1+n-4){\sigma }^2+\frac{1}{l_{xx}}\sum (x_i-\bar{x}{)}^2{\sigma }^2=(n-2){\sigma }^2,$$

这就完成了证明. 进一步,有关 $S_R$ 和 $S_e$ 的分布,有如下定理.

定理 8.4.3

设 $y_1,y_2,\cdots ,y_n$ 相互独立，且 $y_i\sim N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$ , $i=1,2,\cdots ,n$ ，则在上述记号下，有 (1) $S_e/{\sigma }^2\sim {\chi }^2(n-2)$ (2) 若 $H_0$ 成立, 则有 $S_R/{\sigma }^2\sim {\chi }^2(1)$ ; (3) $S_R$ 与 $S_e,\bar{y}$ 独立（或 ${\hat{\beta }}_1$ 与 $S_e,\bar{y}$ 独立）.

证明

取 $n\times n$ 正交矩阵 $\mathbf{A}$ 具有如下形式：

$$\mathbf{A}=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ ⋮& ⋮& & ⋮\\ a_{n-2,1}& a_{n-2,2}& \dots & a_{n-2,n}\\ \frac{x_1-\bar{x}}{\sqrt{l_{xx}}}& \frac{x_2-\bar{x}}{\sqrt{l_{xx}}}& \dots & \frac{x_n-\bar{x}}{\sqrt{l_{xx}}}\\ \frac{1}{\sqrt{n}}& \frac{1}{\sqrt{n}}& \dots & \frac{1}{\sqrt{n}}\end{array}\right),$$

由正交性,可得如下一些约束条件:

$$\begin{array}{r}{\sum }_j{a}_{ij}=0,{\sum }_j{a}_{ij}{x}_j=0,{\sum }_j{a}_{ij}^2=1,i=1,2,\dots ,n-2,\\ {\sum }_k{a}_{ik}{a}_{jk}=0,1⩽i<j⩽n-2,\end{array}$$

这里矩阵 $A$ 共有 $n(n-2)$ 个未知参数, 约束条件有 $3(n-2)+\left(\genfrac{}{}{0ex}{}{n-2}{2}\right)=(n-2)(n+3)/2$ 个, 只要 $n⩾3$ , 未知参数个数就不少于约束条件数, 因此正交矩阵 $A$ 必存在. 令

$$\mathbf{Z}=\left(\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right)=\mathbf{AY}=\mathbf{A}\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)=\left(\begin{array}{c}{\sum }_j{a}_{1j}{y}_j\\ ⋮\\ {\sum }_j{a}_{n-2,j}{y}_j\\ {\sum }_j\frac{x_j-\bar{x}}{\sqrt{l_{\mathrm{xx}}}}{y}_j\\ {\sum }_j\frac{1}{\sqrt{n}}{y}_j\end{array}\right),$$

其中

$$\begin{array}{rl}{z}_{n-1}& =\frac{\sum (x_i-\overline{x})y_i}{\sqrt{l_{xx}}}=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sqrt{l_{xx}}}=\frac{l_{xy}}{\sqrt{l_{xx}}}=\sqrt{l_{xx}}{\hat{\beta }}_1,\\ & z_n=\frac{1}{\sqrt{n}}\sum y_i=\sqrt{n}\overline{y},\end{array}$$

则 $Z$ 仍然服从 $n$ 维正态分布,且其期望与协方差阵分别为

$$E(\text{Z})=\left(\begin{array}{c}0\\ ⋮\\ 0\\ {\beta }_1\sqrt{l_{xx}}\\ \sqrt{n}({\beta }_0+{\beta }_1\overline{x})\end{array}\right),\mathrm{Var}(\text{Z})=A\mathrm{Var}(\text{Y})A^{\mathrm{T}}={\sigma }^2{I}_n,$$

这表明 $z_1,z_2,\cdots ,z_n$ 相互独立， $z_1,z_2,\cdots ,z_{n-2}$ 的共同分布为 $N(0,{\sigma }^2)$ ， $z_{n-1}\sim N({\beta }_1\sqrt{l_{xx}},{\sigma }^2)$ ， $z_n\sim N(\sqrt{n}({\beta }_0+{\beta }_1\bar{x}),{\sigma }^2)$ . 由于 $\sum z_i^2=\sum y_i^2=S_T+n{\overline{y}}^2=S_R+S_e+n{\overline{y}}^2$ ，而 $z_n=\sqrt{n}\overline{y},z_{n-1}=\sqrt{l_{xx}}{\hat{\beta }}_1=\sqrt{S_R}$ ，于是有 $z_1^2+$ $z_2^2+\cdots +z_{n-2}^2=S_e$ ，所以 $S_e,S_R,\overline{y}$ 三者相互独立.并有

$$S_e/{\sigma }^2=\sum _{i=1}^{n-2}{\left(z_i/\sigma \right)}^2\sim {\chi }^2(n-2),$$

在 ${\beta }_1=0$ 时，

$$S_R/{\sigma }^2={\left(\frac{z_{n-1}}{\sigma }\right)}^2\sim {\chi }^2(1),$$

证明完成. 如同方差分析那样,我们可以考虑采用如下 $F$ 作为检验问题(8.4.10)的检验统计量:

$$F=\frac{S_R}{S_e/(n-2)}.$$

在 ${\beta }_1=0$ 时， $F\sim F(f_R,f_e)$ ，其中 $f_R=1,f_e=n-2$ . 对于给定的显著性水平 $\alpha$ ，其拒绝域为 $F⩾F_{1-\alpha }(1,n-2)$ . 整个检验也可列成一张方差分析表. 检验也可用 $p$ 值进行.

例 8.4.3

在合金钢强度的例8.4.2 中, 我们已求出了回归方程, 这里我们考虑关于回归方程的显著性检验. 经计算有

$$\begin{array}{ll}{S}_T=l_{yy}=345.06,& f_T=11,\\ S_R={\hat{\beta }}_1^2{l}_{xx}=132.66^2\times 0.0186=327.34,& f_R=1,\\ S_e=S_T-S_R=345.06-327.34=17.72,& f_e=10.\end{array}$$

把各平方和与自由度移入方差分析表,继续进行计算,具体见表8.4.3. 表 8.4.3 合金钢强度与碳含量回归方程的方差分析表

来源	平方和	自由度	均方	F比	p值
回归	$S_R=327.34$	$f_R=1$	$M{S}_R=327.34$	184.94	0.000 0
残差	$S_e=17.72$	$f_e=10$	$M{S}_e=1.77$
总计	$S_T=345.06$	$f_T=11$

这里 $p$ 值很小, 因此, 在显著性水平 0.01 下回归方程是显著的.

二、 $t$ 检验

对 $H_0:{\beta }_1=0$ 的检验也可基于 $t$ 分布进行. 由于 ${\hat{\beta }}_1\sim N\left({\beta }_1,\frac{{\sigma }^2}{l_{xx}}\right),\frac{S_e}{{\sigma }^2}\sim {\chi }^2(n-2)$ , 且与 ${\hat{\beta }}_1$ 相互独立, 因此在 $H_0$ 为真时, 有

$$t=\frac{{\hat{\beta }}_1}{\hat{\sigma }/\sqrt{l_{xx}}}\sim t(n-2),\text{\hspace{1em}(8.4.17)}$$

其中 $\hat{\sigma }=\sqrt{S_e/(n-2)}$ ，由于 ${\sigma }_{{\hat{\beta }}_1}=\frac{\sigma }{\sqrt{l_{xx}}}$ 因此称 ${\hat{\sigma }}_{{\hat{\beta }}_1}=\frac{\hat{\sigma }}{\sqrt{l_{xx}}}$ 为 ${\hat{\beta }}_1$ 的标准误，即 ${\hat{\beta }}_1$ 的标准差的估计.(8.4.17)式表示的 $t$ 统计量可用来检验假设 $H_0$ .对给定的显著性水平 $\alpha$ ，拒绝域为

$$W=\left\{\mid t\mid >t_{1-\alpha /2}(n-2)\right\}.$$

意到 $t^2=F$ ，因此，$t$ 检验与 $F$ 检验是等同的。 以例8.4.2 中数据为例, 可以计算得到

$$t=\frac{132.66}{\sqrt{1.77}/\sqrt{0.0186}}=\mathrm{13.5991.}$$

若取 $\alpha =0.01$ ，则 $t_{0.995}(10)=3.1693$ ，由于13.599 $1>3.1693$ ，因此，在显著性水平0.01下回归方程是显著的.

三、相关系数检验

考察一元线性回归方程能否反映两个随机变量 $x$ 与 $y$ 间的线性相关关系时, 它的显著性检验还可通过对二维总体相关系数 $\rho$ 的检验进行. 它的一对假设是

$$H_0:\rho =0\text{ vs }{H}_1:\rho \ne 0.\text{\hspace{1em}(8.4.18)}$$

所用的检验统计量为样本相关系数

$$r=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2\sum (y_i-\bar{y}{)}^2}}=\frac{l_{xy}}{\sqrt{l_{xx}{l}_{yy}}},\text{\hspace{1em}(8.4.19)}$$

其中 $(x_i,y_i)(i=1,2,\cdots ,n)$ 是容量为$n$的二维样本. 利用施瓦茨不等式可以证明:样本相关系数也满足 $|r|⩽1$ ,其中等号成立的条件是存在两个实数$a$与$b$,使得对 $i=1,2,\cdots ,n$ 几乎处处有 $y_i=a+b{x}_i$ .由此可见,$n$个点 $(x_i,y_i)(i=1,2,\cdots ,n)$ 在散点图上的位置与样本相关系数$r$有关,譬如: - $r=\pm 1,n$ 个点完全在一条上升或下降的直线上. - $r>0$ ，当 $x$ 增加时， $y$ 有线性增加趋势，此时称正相关. - $r<0$ , 当 $x$ 增加时, $y$ 反而有线性减少趋势, 此时称负相关. - $r=0,n$ 个点可能杂乱无章，也可能呈某种曲线趋势，此时称不相关. 根据样本相关系数的上述性质,检验(8.4.18)中原假设 $H_0:\rho =0$ 的拒绝域为 $W=\{|r|⩾c\}$ ，其中临界值$c$可由 $H_0:\rho =0$ 成立时样本相关系数的分布定出，该分布与自由度n-2有关. 对给定的显著性水平 $\alpha$ ，由 $P(W)=P(|r|⩾c)=\alpha$ 知，临界值 $c$ 应是 $H_0:\rho =0$ 成立下 $|r|$ 的分布的 $1-\alpha$ 分位数，故可记为 $c=r_{1-\alpha }(n-2)$ . 我们还可以用 $F$ 分布来确定临界值 $c$ ，下面加以叙述. 由样本相关系数的定义可以得到统计量 $r$ 与 $F$ 之间的关系

$$r^2=\frac{l_{xy}^2}{l_{xx}{l}_{yy}}=\frac{S_R}{S_T}=\frac{S_R}{S_R+S_e}=\frac{S_R/S_e}{S_R/S_e+1},$$

而

$$F=\frac{M{S}_R}{M{S}_e}=\frac{S_R}{S_e/(n-2)}=\frac{(n-2)S_R}{S_e}.$$

两者综合,可得

$$r^2=\frac{F}{F+(n-2)}.$$

这表明， $|r|$ 是 $F$ 的严格单调增函数，故可以从 $F$ 分布的 $1-\alpha$ 分位数 $F_{1-\alpha }(1,n-2)$ 得到 $|r|$ 的 $1-\alpha$ 分位数为

$$c=r_{1-\alpha }(n-2)=\sqrt{\frac{F_{1-\alpha }(1,n-2)}{F_{1-\alpha }(1,n-2)+n-2}}.$$

譬如，对 $\alpha =0.01,n=12$ ，查表知 $F_{0.99}(1,10)=10.04$ ，于是

$$r_{0.99}(10)=\sqrt{\frac{10.04}{10.04+10}}=\mathrm{0.7078.}$$

为实际使用方便,人们已对 $r_{1-\alpha }(n-2)$ 编制了专门的表,见附表 9. 以例8.4.2 中数据为例, 可以计算得到

$$r=\frac{2.4675}{\sqrt{0.0186}\times 345.06}=\mathrm{0.9740.}$$

若取 $\alpha =0.01$ ，查附表9知则 $r_{0.99}(10)=0.708$ ，由于0.9740>0.708，因此，在显著性水平0.01下回归方程是显著的。

上述三个检验在考察一元线性回归时是等价的,但在多元线性回归场合,经推广 $F$ 检验仍可用,另两个检验就无法使用了.

8.4.5 估计与预测

当回归方程经过检验是显著的后, 可用来作估计和预测. 这是两个不同的问题: - 当 $x=x_0$ 时，寻求均值 $E(y_0)={\beta }_0+{\beta }_1{x}_0$ 的点估计与区间估计（注意这里 $E(y_0)$ 是常量），这是估计问题. - 当 $x=x_0$ 时, $y_0$ 的观测值在什么范围内? 由于 $y_0$ 是随机变量, 一般只求一个区间, 使 $y_0$ 落在这一区间的概率为 $1-\alpha$ , 即要求 $\delta$ , 使 $P(|y_0-{\hat{y}}_0|⩽\delta )=1-\alpha$ , 称区间 $[{\hat{y}}_0-$ $\delta ,{\hat{y}}_0+\delta ]$ 为 $y_0$ 的概率为 $1-\alpha$ 的预测区间，这是预测问题.

一、 $E(y_0)$ 的估计

在 $x=x_0$ 时，其对应的因变量 $y_0$ 是一个随机变量，有一个分布，我们经常需要对该分布的均值给出估计。我们知道，该分布的均值 $E(y_0)={\beta }_0+{\beta }_1{x}_0$ ，因此，一个直观的估计应为

$$\hat{E}(y_0)={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0.$$

简单起见,我们习惯上将上述估计记为 ${\hat{y}}_0$ （注意,作为估计这里 ${\hat{y}}_0$ 表示的是 $E(y_0)$ 的估计,而不表示 $y_0$ 的估计,因为 $y_0$ 是随机变量,它不能被估计,但对其可以作预测.事实上,若预测 $y_0$ 的最可能取值,则 $y_0$ 的点预测也是 ${\hat{y}}_0$ .由于 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 分别是 ${\beta }_0,{\beta }_1$ 的无偏估计,因此, ${\hat{y}}_0$ 也是 $E(y_0)$ 的无偏估计. 为得到 $E(y_0)$ 的区间估计, 我们需要知道 ${\hat{y}}_0$ 的分布. 由定理8.4.1 可得

$${\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0\sim N\left({\beta }_0+{\beta }_1{x}_0,\left(\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{l_{xx}}\right){\sigma }^2\right),$$

又由定理8.4.3知， $S_e/{\sigma }^2\sim {\chi }^2(n-2)$ ，且与 ${\hat{y}}_0=\overline{y}+{\hat{\beta }}_1(x_0-\overline{x})$ 相互独立，记

$${\hat{\sigma }}^2=\frac{S_e}{n-2},$$

则

$$\frac{\left({\hat{y}}_0-E\left(y_0\right)\right)/\sqrt{\frac{1}{n}+\frac{{\left(x_0-\bar{x}\right)}^2}{l_{xx}}}\sigma }{\sqrt{\frac{S_e}{{\sigma }^2}/(n-2)}}=\frac{{\hat{y}}_0-E\left(y_0\right)}{\hat{\sigma }\sqrt{\frac{1}{n}+\frac{{\left(x_0-\bar{x}\right)}^2}{l_{xx}}}}\sim t(n-2).$$

于是 $E(y_0)$ 的 $1-\alpha$ 的置信区间是

$$\left[{\hat{y}}_0-{\delta }_0,{\hat{y}}_0+{\delta }_0\right],\text{\hspace{1em}(8.4.20)}$$

其中

$${\delta }_0=t_{1-\alpha /2}(n-2)\hat{\sigma }\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{l_{xx}}}.\text{\hspace{1em}(8.4.21)}$$

二、 $y_0$ 的预测区间

(8.4.20)式给出了 $x=x_0$ 时对应的因变量的均值 $E(y_0)$ 的区间估计, 实用中往往更关心 $x=x_0$ 时对应的因变量 $y_0$ 的取值范围. 我们举一个不是非常贴切的例子说明这两者之间的差别: 设想你要去买一台某厂生产的某种型号的液晶电视, 则你很关心液晶电视的寿命——它能正常使用多长时间, 液晶电视的寿命是一个随机变量, 该厂生产的该型号的液晶电视寿命有一个分布, 其均值就是它的平均寿命, 当然, 这是一个重要的质量指标, 我们可以对它给出估计, 譬如, 平均寿命的 0.95 置信区间为 (3,7) (单位: 万小时). 然而, 作为消费者, 我们更关心的可能是所购买的这台液晶电视的寿命在一个什么范围内,我们所购买的这台液晶电视的寿命是一个随机变量,能否对该随机变量的取值给出一个预测区间呢?这就是我们这里要讨论的预测问题. 事实上， $y_0=E(y_0)+\epsilon$ ，由于通常假定 $\epsilon \sim N(0,{\sigma }^2)$ ，因此， $y_0$ 的最可能取值仍然为 ${\hat{y}}_0$ ，于是，我们可以使用以 ${\hat{y}}_0$ 为中心的一个区间

$$[{\hat{y}}_0-\delta ,{\hat{y}}_0+\delta ]\text{\hspace{1em}(8.4.22)}$$

作为 $y_0$ 的取值范围，为确定 $\delta$ 的值，我们需要如下的结果：由于 $y_0$ 与 ${\hat{y}}_0$ 独立，故

$$y_0-{\hat{y}}_0\sim N\left(0,\left(1+\frac{1}{n}+\frac{{\left(x_0-\bar{x}\right)}^2}{l_{xx}}\right){\sigma }^2\right).$$

因此有

$$\frac{y_0-{\hat{y}}_0}{\hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{l_{xx}}}}\sim t(n-2),$$

从而(8.4.22)表示的预测区间中 $\delta$ 的表达式为

$$\delta =\delta (x_0)=t_{1-\alpha /2}(n-2)\hat{\sigma }\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{l_{xx}}}.\text{\hspace{1em}(8.4.23)}$$

上述预测区间与 $E(y_0)$ 的置信区间(8.4.21)的差别就在于根号里多个1,计算时要注意到这个差别,这个差别导致预测区间要比置信区间宽很多. 由(8.4.23)式可以看出预测区间的长度 $2\delta$ 与样本量$n$,$x$的偏差平方和 $l_{xx},x_0$ 到 $\overline{x}$ 的距离 $|x_0-\overline{x}|$ 有关. $x_0$ 愈远离 $\overline{x}$ ，预测精度就愈差.当 $x_0\notin [x_{(1)},x_{(n)}]$ 时，预测精度可能变得很差，在这种情况下的预测称作外推，需要特别小心.另外，若 $x_1,x_2,\cdots ,x_n$ 较为集中时，那么 $l_{xx}$ 就较小，也会导致预测精度的降低.因此，在收集数据时要使 $x_1,x_2,\cdots ,x_n$ 尽量分散，这对提高精度有利.图 8.4.2($a$)给出在不同的$x$值上预测区间的示意图：在 $x=\overline{x}$ 处预测区间最短，远离 $\overline{x}$ 的预测区间愈来愈长，两端呈喇叭状.
($a$) 精确预测区间

图 8.4.2 预测区间示意图

($b$) 近似预测区间 当 $n$ 较大时（如 n>30），$t$ 分布可以用正态分布近似，进一步，若 $x_0$ 与 $\bar{x}$ 相差不大时， $\delta$ 可以近似取为

$$\delta \approx u_{1-\alpha /2}\hat{\sigma },\text{\hspace{1em}(8.4.24)}$$

其中 $u_{1-\alpha /2}$ 是标准正态分布的 $1-\alpha /2$ 分位数, 见图 8.4.2($b$).

例 8.4.4

在例8.4.2 中, 如果 $x_0=0.16$ , 则得预测值为

$${\hat{y}}_0=28.12+132.66\times 0.16=\mathrm{49.35.}$$

若取 $\alpha =0.05$ ，则 $t_{0.975}(10)=2.2281$ ，又 $\hat{\sigma }=\sqrt{17.72/(12-2)}=1.3312$ ，应用（8.4.21）式，

$${\delta }_0=2.2281\times 1.3312\times \sqrt{\frac{1}{12}+\frac{(0.16-0.1583{)}^2}{0.0186}}=\mathrm{0.86.}$$

故 $x_0=0.16$ 对应因变量 $y_0$ 的均值 $E(y_0)$ 的0.95置信区间为

$$[49.35\pm 0.86]=[48.49,50.21].$$

应用(8.4.23)式，

$$\delta =2.2281\times 1.3312\times \sqrt{1+\frac{1}{12}+\frac{(0.16-0.1583{)}^2}{0.0186}}=3.09,$$

从而 $y_0$ 的概率为0.95的预测区间为

$$[49.35\pm 3.09]=[46.26,52.44].$$

我们可以清楚地看到, $E(y_0)$ 的0.95置信区间比 $y_0$ 的概率为0.95的预测区间窄很多,这是因为随机变量的均值相对于随机变量本身而言波动更小. 如果求近似预测区间,则可按(8.4.24)式计算,由于 $u_{0.975}=1.96$ ,故有 $\delta \approx 1.96\times 1.3312=2.61$ ,则所求区间为

$$[49.35-2.61,49.35+2.61]=[46.74,51.96].$$

此处近似预测区间与精确预测区间相差较大,主要是因为 $n$ 较小的原因. 下面我们以一个完整的例子把本节内容重新梳理一遍.

例 8.4.5

在动物学研究中,有时需要找出某种动物的体积与质量的关系.因为动物的质量相对而言容易测量,而测量体积比较困难,因此,人们希望用动物的质量预测其体积.下面是18只某种动物的体积与质量数据,在这里,动物质量被看作自变量,用$x$表示,单位为kg,动物体积则作为因变量,用$y$表示,单位为 $d{m}^3$ ,18组数据列于表8.4.4中. 表 8.4.4 18 只某种动物的体积 $y$ 与质量 $x$ 数据

x	y	x	y	x	y
10.4	10.2	15.1	14.8	16.5	15.9
10.5	10.4	15.1	15.1	16.7	16.6
11.9	11.6	15.1	14.5	17.1	16.7
12.1	11.9	15.7	15.7	17.1	16.7
13.8	13.5	15.8	15.2	17.8	17.6
15.0	14.5	16.0	15.8	18.4	18.3

为能用动物质量估计动物体积,必须建立动物体积 $y$ 关于动物质量 $x$ 的回归方程.首先,我们用这 18 组数据画出散点图,见图 8.4.3.

图8.4.3 动物体积与动物质量的散点图

从散点图我们发现 18 个点基本在一条直线附近, 这说明两个变量之间在质量为 10 kg 到 20 kg 内有一个线性相关关系, 下面求该线性回归方程, 计算过程见表 8.4.5. 表 8.4.5 动物体积与质量数据的计算表

$\sum x_i=270.1$	n=18	$\sum y_i=265.0$
$\overline{x}=15.0056$		$\overline{y}=14.7222$
$\sum x_i^2=4149.39$	$\sum x_i{y}_i=4071.71$	$\sum y_i^2=3996.14$
$n{\overline{x}}^2=4053.0006$	$n\overline{x}\overline{y}=3976.4722$	$n{\overline{y}}^2=3901.3889$
$l_{xx}=96.3894$	$l_{xy}=95.2378$	$l_{yy}=94.7511$
	${\hat{\beta }}_1=l_{xy}/l_{xx}=0.9881$
	${\hat{\beta }}_0=\overline{y}-{\hat{\beta }}_1\overline{x}=-0.1048$

由此给出回归方程为

$$\hat{y}=-0.1048+0.9881x.\text{\hspace{1em}(8.4.25)}$$

接下来我们考虑关于回归方程的显著性检验.经计算有

$$S_T=l_{yy}=94.7511,$$$$f_T=17,$$$$S_R={\hat{\beta }}_1^2{l}_{xx}=0.9881^2\times 96.3894=94.1090,f_R=1,$$$$S_e=S_T-S_R=0.6421,$$$$f_e=16.$$

把诸平方和移入方差分析表上,继续计算,具体见表8.4.6. 表 8.4.6 动物体积与质量回归方程的方差分析表

来源	平方和	自由度	均方	F比	p值
回归	$S_R=94.1090$	$f_R=1$	$M{S}_R=94.1090$	2346.9	0.000 0
残差	$S_e=0.6421$	$f_e=16$	$M{S}_e=0.0401$
总计	$S_T=94.7511$	$f_T=17$

因 $p$ 值很小, 在显著性水平 0.01 下回归方程是显著的. 如果测得某动物的质量为 $x_0=17.6kg$ ，则由（8.4.25）式，该质量对应动物平均体积的估计值为

$${\hat{y}}_0=-0.1048+0.9881\times 17.6=\mathrm{17.2858.}$$

若取 $\alpha =0.05$ ，则 $t_{0.975}(16)=2.1199$ ，又 $\hat{\sigma }=\sqrt{0.0401}=0.2002$ ，应用(8.4.23)式，

$$\delta =2.1199\times 0.2002\times \sqrt{1+\frac{1}{18}+\frac{(17.6-15.0056{)}^2}{96.3894}}=0.4502,$$

从而该质量对应动物体积的概率为 0.95 的预测区间为

$$[17.2858-0.4502,17.2858+0.4502]=[16.8356,17.7360].$$

用(8.4.24)式可以求近似预测区间,由于 $u_{0.975}=1.96$ , 故有 $\delta \approx 1.96\times 0.2002=0.3924$ , 则所求区间为

$$[17.2858-0.3924,17.2858+0.3924]=[16.8934,17.6782].$$

此处近似预测区间与精确预测区间差距已不大了, 当 $n$ 更大一些, 两者差距会更小一些.

习题8.4

1. 假设回归直线过原点, 即一元线性回归模型为

$$y_i=\beta x_i+{\epsilon }_i,i=1,2,\dots ,n,$$

$E({\epsilon }_i)=0,\mathrm{Var}({\epsilon }_i)={\sigma }^2$ , 诸观测值相互独立. (1) 写出 $\beta$ 的最小二乘估计和 ${\sigma }^2$ 的无偏估计； (2) 对给定的 $x_0$ ，其对应的因变量均值的估计为 ${\hat{y}}_0$ ，求 $\mathrm{Var}({\hat{y}}_0)$ . 2. 设回归模型为

$$\{\begin{array}{l}{y}_{{}_i}={\beta }_{{}_0}+{\beta }_{{}_1}{x}_{{}_i}+{\epsilon }_{{}_i},i=1,2,\dots ,n,\\ \text{各}{\epsilon }_{{}_i}\text{独立同分布},\text{其分布为}N(0,{\sigma }^2).\end{array}$$

试求 ${\beta }_0,{\beta }_1$ 的最大似然估计，它们与其最小二乘估计一致吗？ 3. 在回归分析计算中, 常对数据进行变换

$${\tilde{y}}_i=\frac{y_i-c_1}{d_1},{\tilde{x}}_i=\frac{x_i-c_2}{d_2},i=1,2,\dots ,n,$$

其中 $c_1,c_2,d_1(d_1>0),d_2(d_2>0)$ 是适当选取的常数. （1）试建立由原始数据和变换后数据得到的最小二乘估计、总平方和、回归平方和以及残差平方和之间的关系； (2) 证明: 由原始数据和变换后数据得到的 $F$ 检验统计量的值保持不变. 4. 对给定的 $n$ 组数据 $(x_i,y_i),i=1,2,\cdots ,n$ ，若我们关心的是 $y$ 如何依赖 $x$ 的取值而变动，则可以建立回归方程

$$\hat{y}=a+bx.$$

反之, 若我们关心的是 $x$ 如何依赖 $y$ 的取值而变动, 则可以建立另一个回归方程

$$\hat{x}=c+dy.$$

试问这两条直线在直角坐标系中是否重合？为什么？若不重合，它们有无交点？若有，试给出交点的坐标. 5. 为考察某种维尼纶纤维的耐水性能, 安排了一组试验, 测得其甲醇浓度 $x$ 及相应的“缩醇化度” $y$ 数据如下:

x	18	20	22	24	26	28	30
y	26.86	28.35	28.75	28.87	29.75	30.00	30.36

(1) 作散点图； (2) 求样本相关系数； (3) 建立一元线性回归方程； (4) 对建立的回归方程作显著性检验 ( $\alpha =0.01$ ). 6. 测得一组弹簧形变 $x$ (单位: $\mathrm{cm}$ ) 和相应的外力 $y$ (单位: $\mathbf{N}$ ) 数据如下:

y	1	1.2	1.4	1.6	1.8	2.0	2.2	2.4	2.8	3.0
x	3.08	3.76	4.31	5.02	5.51	6.25	6.74	7.40	8.54	9.24

由胡克定律知 $\hat{y}=kx$ ，试估计 $k$ ，并在 $x=2.6\mathrm{cm}$ 处给出相应的外力 $y$ 的0.95预测区间. 7. 设由 $(x_i,y_i)(i=1,2,\cdots ,n)$ 可建立一元线性回归方程， ${\hat{y}}_i$ 是由回归方程得到的拟合值，证明：样本相关系数$r$满足关系

$$r^2=\frac{{\sum }_{i=1}^n{\left({\hat{y}}_i-\bar{y}\right)}^2}{{\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2},$$

上式也称为回归方程的决定系数. 8. 现收集了 16 组合金钢中的碳含量 $x$ 及强度 $y$ 的数据, 求得 $\overline{x}=0.125,\overline{y}=45.7886,l_{xx}=0.3024,l_{xy}=25.5218,l_{yy}=\mathrm{2432.4566.}$ (1) 建立 $y$ 关于 $x$ 的一元线性回归方程 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$ ; (2) 写出 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ 的分布； (3) 求 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ 的相关系数； (4) 列出对回归方程作显著性检验的方差分析表 ( $\alpha =0.05$ ); (5) 给出 ${\beta }_1$ 的 0.95 置信区间； (6) 在 x=0.15 时求对应的 $y$ 的 0.95 预测区间. 9. 设回归模型为 $\{\begin{array}{l}{y}_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i,\\ {\epsilon }_i\sim N(0,{\sigma }^2),\end{array}$ 现收集了15组数据，经计算有

$$\overline{x}=0.85,\overline{y}=25.60,l_{xx}=19.56,l_{xy}=32.54,l_{yy}=46.74,$$

后经核对,发现有一组数据记录错误,正确数据为(1.2,32.6),记录为(1.5,32.3). (1) 求 ${\beta }_0,{\beta }_1$ 修正后的 LSE; (2) 对回归方程作显著性检验 ( $\alpha =0.05$ ); (3) 若 $x_0=1.1$ ，给出对应响应变量的 0.95 预测区间. 10. 在生产中积累了 32 组某种铸件在不同腐蚀时间 $x$ 下腐蚀深度 $y$ 的数据, 求得回归方程为

$$\hat{y}=-0.4441+0.002263x,$$

且误差方差的无偏估计为 ${\hat{\sigma }}^2=0.001452$ ，总偏差平方和为0.1246. (1) 对回归方程作显著性检验 ( $\alpha =0.05$ ), 列出方差分析表; (2) 求样本相关系数； (3) 若腐蚀时间 x=870，试给出 $y$ 的 0.95 近似预测区间. 11. 我们知道营业税税收总额 $y$ 与社会商品零售总额 $x$ 有关. 为能从社会商品零售总额去预测税收总额, 需要了解两者之间的关系. 现收集了如下 9 组数据 (单位: 亿元):

序号	社会商品零售总额	营业税税收总额
1	142.08	3.93
2	177.30	5.96
3	204.68	7.85
4	242.68	9.82
5	316.24	12.50
6	341.99	15.55
7	332.69	15.79
8	389.29	16.39
9	453.40	18.45

(1) 画散点图；
(2) 建立一元线性回归方程, 并作显著性检验 (取 $\alpha =0.05$ ), 列出方差分析表;
（3）若已知某年社会商品零售总额为 300 亿元，试给出营业税税收总额的概率为 0.95 的预测区间；
(4) 若已知回归直线过原点, 试求回归方程, 并在显著性水平 0.05 下作显著性检验.