8.5 一元非线性回归

有时, 回归函数并非是自变量的线性函数, 若通过变换可以将之化为线性函数, 从而可用一元线性回归方法对其分析, 这是处理非线性回归问题的一种常用方法. 下面以一个例子说明上述非线性回归的分析步骤.

例 8.5.1

炼钢厂出钢水时用的钢包, 在使用过程中由于钢水及炉渣对耐火材料的侵蚀, 其容积不断增大. 钢包的容积用盛满钢水时的质量 y (单位: kg) 表示, 相应的使用次数用 $x$ 表示. 数据见表8.5.1, 要找出 $y$ 与 $x$ 的定量关系表达式. 表 8.5.1 钢包的质量 $y$ 与使用次数 $x$ 数据

序号	x	y	序号	x	y
1	2	106.42	8	11	110.59
2	3	108.20	9	14	110.60
3	4	109.58	10	15	110.90
4	5	109.50	11	16	110.76
5	7	110.00	12	18	111.00
6	8	109.93	13	19	111.20
7	10	110.49

下面我们分三步进行.

8.5.1 确定可能的函数形式

为对数据进行分析,首先描出数据的散点图,判断两个变量之间可能的函数关系,图 8.5.1 是本例的散点图.

图 8.5.1 钢包质量与使用次数散点图

观察这 13 个点形成的散点图, 我们可以看到它们并不接近一条直线, 用曲线拟合这些点应该是更恰当的. 这里就涉及如何选择曲线函数形式的问题, 首先, 如果可由专业知识确定回归函数形式, 则应尽可能利用专业知识. 若不能由专业知识加以确定函数形式, 则可将散点图与一些常见的函数关系的图形进行比较, 选择几个可能的函数形式, 然后使用统计方法在这些函数形式之间进行比较, 最后确定合适的曲线回归方程. 为此, 必须了解常见的曲线函数的图形, 见图 8.5.2. 本例中,散点图呈现一个明显的向上且上凸的趋势,可能选择的函数关系有很多,比如,参照图 8.5.2,我们可以给出如下四个曲线函数:

$$\frac{1}{y}=a+\frac{b}{x},\text{\hspace{1em}(8.5.1)}$$

(2) $y=a+b\ln x$ , (8.5.2)

$$y=a+b\sqrt{x},\text{\hspace{1em}(8.5.3)}$$ $$(4)y-100=a{\mathrm{e}}^{-b/x}(b>0).\text{\hspace{1em}(8.5.4)}$$

函数名称	函数表达式	图 像		线性化方法
双曲线函数	$\frac{1}{y}=a+\frac{b}{x}$			$v=\frac{1}{y}$ $u=\frac{1}{x}$
幂函数	$y=a{x}^b$			$v=\ln y$ $u=\ln x$
指数函数	$y=a{e}^{bx}$			$v=\ln y$ $u=x$
	$y=a{e}^{b/x}$			$v=\ln y$ $u=\frac{1}{x}$
对数函数	$y=a+b\ln x$			$v=y$ $u=\ln x$
S形曲线	$y=\frac{1}{a+b{e}^{-x}}$			$v=\frac{1}{y}$ $u=e^{-x}$

图 8.5.2 部分常见的曲线函数的图形 在初步选出可能的函数关系(即方程)后,我们必须解决两个问题: - 如何估计所选方程中的参数？这在8.5.2中讨论. - 如何评价所选不同方程的优劣？这在8.5.3中介绍.

8.5.2 参数估计

对形如(8.5.1)式至(8.5.4)式的非线性函数,参数估计最常用的方法是“线性化”方法,即通过某种变换,将方程化为一元线性方程的形式. 以(8.5.1)式为例,为了能采用一元线性回归分析方法,我们作如下变换:

$$u=\frac{1}{x},v=\frac{1}{y},$$

则(8.5.1)的曲线函数就化为如下的直线：

$$v=a+bu,$$

这是理论回归函数.对数据而言,回归方程为

$$v_i=a+b{u}_i+{\epsilon }_i,$$

于是可用一元线性回归的方法估计出 $a$, $b$. 图 8.5.3 给出变换后的数据的散点图. 从图 8.5.3 上看出可以认为所有的点近似在一条直线上下波动, 因此, 建立一元线性回归方程是可行的. 整个计算过程及估计列于表 8.5.2 和表 8.5.3 中.

图8.5.3 变换后数据的散点图

表 8.5.2 钢包数据的变换值

x	y	u=1/x	v=1/y	$u^2$	uv
2	106.42	0.500 000	0.009 397	0.250 000	0.004 698
3	108.20	0.333 333	0.009 242	0.111 111	0.003 081
4	109.58	0.250 000	0.009 126	0.062 500	0.002 281
5	109.50	0.200 000	0.009 132	0.040 000	0.001 826
7	110.00	0.142 857	0.009 091	0.020 408	0.001 299
8	109.93	0.125 000	0.009 097	0.015 625	0.001 137
10	110.49	0.100 000	0.009 051	0.010 000	0.000 905
11	110.59	0.090 909	0.009 042	0.008 264	0.000 822
14	110.60	0.071 429	0.009 042	0.005 102	0.000 646
15	110.90	0.066 667	0.009 017	0.004 444	0.000 601
16	110.76	0.062 500	0.009 029	0.003 906	0.000 564
18	111.00	0.055 556	0.009 009	0.003 086	0.000 501
19	111.20	0.052 632	0.008 993	0.002 770	0.000 473
	合计	2.050 881 94	0.118 266 72	0.537 217 98	0.018 834 95
	均值	0.157 760 15	0.009 097 44

为了下面的计算需要，表中合计与均值两行取8位小数. 表 8.5.3 参数估计计算表

$\sum u_i=2.05088194$	n=13	$\sum v_i=0.11826672$
$\overline{u}=0.15776015$		$\overline{v}=0.00909744$
$\sum u_i^2=0.53721798$	$\sum u_i{v}_i=0.01883495$
$n{\overline{u}}^2=0.32354744$	$n\overline{u}\overline{v}=0.01865778$
$l_{uu}=0.21367054$	$l_{uv}=0.00017717$
	$\hat{b}=l_{uv}/l_{uu}=0.00082917$
	$\hat{a}=\overline{v}-\hat{b}\overline{u}=0.00896663$
	$\hat{y}=\frac{x}{0.00082917+0.00896663x}$

用类似的方法可以得出其他三个曲线回归方程,它们分别是

$$\hat{y}=106.3147+3.9466\ln x,$$ $$\hat{y}=106.3013+1.1947\sqrt{x},$$ $$\hat{y}=100+11.7506{\mathrm{e}}^{-1.1256/x}.$$

8.5.3 曲线回归方程的比较

我们上面得到了四个曲线回归方程,在这四个方程中,哪一个更好一点呢?通常 可采用如下两个指标进行选择. (1) 决定系数 $R^2$ . 类似于一元线性回归方程中相关系数, 决定系数定义为

$$R^2=1-\frac{\sum {\left(y_i-{\hat{y}}_i\right)}^2}{\sum {\left(y_i-\bar{y}\right)}^2}.\text{\hspace{1em}(8.5.5)}$$

$R^2$ 越大, 说明残差越小, 回归曲线拟合越好, $R^2$ 从总体上给出一个拟合好坏程度的度量. （2）剩余标准差 $s$. 类似于一元线性回归中标准差的估计公式, 此剩余标准差可用平均残差平方和来获得, 即

$$s=\sqrt{\frac{\sum {\left(y_i-{\hat{y}}_i\right)}^2}{n-2}}.\text{\hspace{1em}(8.5.6)}$$

$s$ 为诸观测点 $y_i$ 与由曲线给出的拟合值 ${\hat{y}}_i$ 间的平均偏离程度的度量, $s$ 越小, 方程越好. 在观测数据给定后, 不同的曲线选择不会影响 ${\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2$ 的取值, 但会影响到残差平方和 ${\sum }_{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2$ 的取值. 因此, 对选择的曲线而言, 决定系数和剩余标准差都取决于残差平方和 ${\sum }_{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2$ , 从而两种选择准则是一致的, 只是从两个不同侧面作出评价. 表8.5.4给出第一个曲线回归方程的残差平方和的计算过程.由于 $n=13$ ， ${\sum }_{i=1}^{13}(y_i-\overline{y}{)}^2=21.2105$ ，故其决定系数及剩余标准差分别为

$$R^2=1-\frac{0.5743}{21.2105}=0.9729,s=\sqrt{\frac{0.5743}{13-2}}=\mathrm{0.2285.}$$

其他三个方程的决定系数及剩余标准差可同样计算,我们将它们列在表8.5.5中. 表 8.5.4 第一个方程的残差平方和计算表

$y_i$	${\hat{y}}_i$	${\hat{e}}_i=y_i-{\hat{y}}_i$	${\hat{e}}_i^2$	$y_i$	${\hat{y}}_i$	${\hat{e}}_i=y_i-{\hat{y}}_i$	${\hat{e}}_i^2$
106.42	106.596	-0.176 001	0.030 976	110.59	110.595	-0.004 890	0.000 024
108.20	108.190	0.010 252	0.000 105	110.60	110.793	-0.192 810	0.037 176
109.58	109.005	0.575 373	0.331 054	110.90	110.841	0.058 701	0.003 446
109.50	109.499	0.000 526	0.000 000	110.76	110.884	-0.123 761	0.015 317
110.00	110.071	-0.070 543	0.004 976	111.00	110.955	0.045 397	0.002 061
109.93	110.250	-0.320 225	0.102 544	111.20	110.984	0.215 541	0.046 458
110.49	110.503	-0.012 769	0.000 163		和		0.574 3

${\hat{y}}_i$ 用 3 位小数，实际计算中用的是 ${\hat{y}}_i$ 的 6 位小数. 表 8.5.5 四种曲线回归的决定系数及剩余标准差

模型编号	1	2	3	4
$R^2$	0.972 9	0.877 3	0.785 1	0.962 3
s	0.228 5	0.486 4	0.643 7	0.269 6

从表 8.5.5 中可以看出,第一个曲线方程的决定系数最大,剩余标准差最小,在这四个曲线回归方程中,不论用哪个标准,都是第一个方程拟合得最好.因此,近似得比较好的定量关系式就是

$$\hat{y}=\frac{x}{0.00082917+0.00896663x}.$$

习题8.5

1. 设曲线函数形式为 $y=a+b\ln x$ ，试给出一个变换将之化为一元线性回归的形式。
2. 设曲线函数形式为 $y=a+b\sqrt{x}$ ，试给出一个变换将之化为一元线性回归的形式。
3. 设曲线函数形式为 $y-100=a{e}^{-x/b}$ ( $b>0$ ), 试给出一个变换将之化为一元线性回归的形式.
4. 设曲线函数形式为 $y=a+{\mathrm{e}}^{bx}$ ，问能否找到一个变换将之化为一元线性回归的形式？若能，试给出；若不能，说明理由。
5. 设曲线函数形式为 $y=\frac{1}{a+b{e}^{-x}}$ ，问能否找到一个变换将之化为一元线性回归的形式？若能，试给出；若不能，说明理由.
6. 设曲线函数形式为 $y=a{e}^{b/x}$ ，问能否找到一个变换将之化为一元线性回归的形式？若能，试给出；若不能，说明理由。
7. 为了检验 $X$ 射线的杀菌作用, 用 200 kV 的 $X$ 射线照射杀菌, 每次照射 6 min, 照射次数为 $x$, 照射后所剩细菌数为 $y$, 下表是一组试验结果:

   x	y	x	y	x	y
   1	783	8	154	15	28
   2	621	9	129	16	20
   3	433	10	103	17	16
   4	431	11	72	18	12
   5	287	12	50	19	9
   6	251	13	43	20	7
   7	175	14	31

   根据经验知道 $y$ 关于 $x$ 的曲线回归方程形如

$$\hat{y}=a{\mathrm{e}}^{bx},$$

试给出具体的回归方程,并求其对应的决定系数 $R^2$ 和剩余标准差 $s$.