6.2 矩估计及相合性

6.2.1 替换原理和矩法估计

1900 年 $K$. 皮尔逊提出了一个替换原理, 后来人们称此方法为矩法. 替换原理常指如下两句话： - 用样本矩去替换总体矩,这里的矩可以是原点矩也可以是中心矩. - 用样本矩的函数去替换相应的总体矩的函数. 根据这个替换原理,在总体分布形式未知场合也可对各种参数作出估计,譬如: - 用样本均值 $\overline{x}$ 估计总体均值 $E(X)$ . - 用样本方差 $s^2$ 估计总体方差 $\mathrm{Var}(X)$ . - 用事件 $A$ 出现的频率估计事件 $A$ 发生的概率. - 用样本的 $p$ 分位数估计总体的 $p$ 分位数, 特别, 用样本中位数估计总体中位数.

例 6.2.1

对某型号的 20 辆汽车记录其每 5 L 汽油的行驶里程(单位: km)，观测数据如下：

29.8	27.6	28.3	27.9	30.1	28.7	29.9	28.0	27.9	28.7
28.4	27.2	29.5	28.5	28.0	30.0	29.1	29.8	29.6	26.9

这是一个容量为 20 的样本观测值,对应总体是该型号汽车每 5 L 汽油的行驶里程,其分布形式尚不清楚,可用矩法估计其均值、方差和中位数等.本例中经计算有

$$\bar{x}=28.695,s^2=0.9668,m_{0.5}=28.6,$$

由此给出总体均值、方差和中位数的估计分别为 28.695, 0.9668 和 28.6. 矩法估计的统计思想(替换原理)十分简单明确,众人都能接受,使用场合甚广.它的实质是用经验分布函数去替换总体分布,其理论基础是格利文科定理.

6.2.2 概率函数已知时未知参数的矩估计

设总体具有已知的概率函数 $p(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$ ， $({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)\in \Theta$ 是未知参数或参数向量， $x_1,x_2,\cdots ,x_n$ 是样本，假定总体的 $k$ 阶原点矩 ${\mu }_k$ 存在，则对所有的 $j$，0<j<k, ${\mu }_j$ 都存在，若假设 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 能够表示成 ${\mu }_1,{\mu }_2,\cdots ,{\mu }_k$ 的函数 ${\theta }_j={\theta }_j({\mu }_1,{\mu }_2,\cdots ,{\mu }_k)$ ，则可给出诸 ${\theta }_j$ 的矩估计：

$${\hat{\theta }}_j={\theta }_j(a_1,a_2,\dots ,a_k),j=1,2,\dots ,k,$$

其中 $a_1,a_2,\cdots ,a_k$ 是前 $k$ 阶样本原点矩 $a_j=\frac{1}{n}{\sum }_{i=1}^n{x}_i^j$ . 进一步, 如果我们要估计 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 的函数 $\eta =g({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$ , 则可直接得到 $\eta$ 的矩估计

$$\hat{\eta }=g\left({\hat{\theta }}_1,{\hat{\theta }}_2,\dots ,{\hat{\theta }}_k\right),$$

当 k=1 时, 我们通常可以由样本均值出发对未知参数进行估计; 如果 k=2, 我们可以由一阶、二阶原点矩(或二阶中心矩)出发估计未知参数.

例 6.2.2

设总体为指数分布, 其密度函数为

$$p(x;\lambda )=\lambda {\mathrm{e}}^{-\lambda x},x⩾0,$$

$x_1,x_2,\cdots ,x_n$ 是样本,此处k=1,由于 $E(X)=1/\lambda$ ,亦即 $\lambda =1/E(X)$ ,故 $\lambda$ 的矩估计为

$$\hat{\lambda }=1/\bar{x}.$$

另外,由于 $\mathrm{Var}(X)=1/{\lambda }^2$ , 其反函数为 $\lambda =1/\sqrt{\mathrm{Var}(X)}$ , 因此, 从替换原理来看, $\lambda$ 的矩估计也可取为

$${\hat{\lambda }}_1=1/s,$$

$s$ 为样本标准差. 这说明矩估计可能是不唯一的, 此时通常应该尽量采用低阶矩给出未知参数的估计.

例 6.2.3

设 $x_1,x_2,\cdots ,x_n$ 是来自均匀分布 $U(a,b)$ 的样本，$a$ 与 $b$ 均是未知参数，这里 k = 2，由于

$$E(X)=\frac{a+b}{2},\mathrm{Var}(X)=\frac{(b-a{)}^2}{12},$$

不难推出

$$a=E(X)-\sqrt{3\mathrm{Var}(X)},b=E(X)+\sqrt{3\mathrm{Var}(X)},$$

由此即可得到 $a$, $b$ 的矩估计：

$$\hat{a}=\bar{x}-\sqrt{3}s,\hat{b}=\bar{x}+\sqrt{3}s,$$

若从均匀分布总体 $U(a,b)$ 获得如下一个容量为5的样本：

4.5 5.0 4.7 4.0 4.2

经计算,有 $\bar{x}=4.48,s=0.3962$ ,于是可得$a$,$b$的矩估计为

$$\hat{a}=4.48-0.3962\sqrt{3}=3.7938,$$$$\hat{b}=4.48+0.3962\sqrt{3}=\mathrm{5.1662.}$$

6.2.3 相合性

我们知道,点估计是一个统计量,因此它是一个随机变量,在样本量一定的条件下,我们不可能要求它完全等同于参数的真实取值.但如果我们有足够的观测值,根据格利文科定理,随着样本量的不断增大,经验分布函数逼近真实分布函数,因此完全可以要求估计量随着样本量的不断增大而逼近参数真值,这就是相合性,其定义如下.

定义 6.2.1

设 $\theta \in \Theta$ 为未知参数, ${\hat{\theta }}_n={\hat{\theta }}_n(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的一个估计量, $n$ 是样本容量, 若对任何一个 $\epsilon >0$ , 有

$$\underset{n\to \infty }{\lim }P(\mid {\hat{\theta }}_n-\theta \mid ⩾\epsilon )=0,\text{\hspace{1em}(6.2.1)}$$

则称 ${\hat{\theta }}_n$ 为参数 $\theta$ 的相合估计. 相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时,它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的.通常,不满足相合性要求的估计不予考虑. 若把依赖于样本量 $n$ 的估计量 ${\hat{\theta }}_n$ 看作一个随机变量序列, 相合性就是 ${\hat{\theta }}_n$ 依概率收敛于 $\theta$ , 所以证明估计的相合性可应用依概率收敛的性质及各种大数定律.

例 6.2.4

设 $x_1,x_2,\cdots$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本序列，则由辛钦大数定律及依概率收敛的性质知： - $\bar{x}$ 是 $\mu$ 的相合估计. - $s_n^2$ 是 ${\sigma }^2$ 的相合估计. - $s^2$ 也是 ${\sigma }^2$ 的相合估计. 由此可见参数的相合估计不止一个. 在判断估计的相合性时下述两个定理是很有用的.

定理 6.2.1

设 ${\hat{\theta }}_n={\hat{\theta }}_n(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的一个估计量, 若

$$\underset{n\to \infty }{\lim }E({\hat{\theta }}_n)=\theta ,\underset{n\to \infty }{\lim }\mathrm{Var}({\hat{\theta }}_n)=0,\text{\hspace{1em}(6.2.2)}$$

则 ${\hat{\theta }}_n$ 是 $\theta$ 的相合估计.

证明

对任意的 $\epsilon >0$ , 由切比雪夫不等式有

$$P\left(\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid ⩾\frac{\epsilon }{2}\right)⩽\frac{4}{{\epsilon }^2}\mathrm{Var}({\hat{\theta }}_n).$$

另一方面，由 ${\lim }_{n\to \infty }E({\hat{\theta }}_n)=\theta$ 可知，当 $n$ 充分大时有

$$\left|E\left({\hat{\theta }}_n\right)-\theta \right|<\frac{\epsilon }{2}.$$

意到此时如果 $|{\hat{\theta }}_n-E({\hat{\theta }}_n)|<\frac{\epsilon }{2}$ ，就有

$$\mid {\hat{\theta }}_n-\theta \mid ⩽\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid +\mid E({\hat{\theta }}_n)-\theta \mid <\epsilon ,$$

故

$$\left\{\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid <\frac{\epsilon }{2}\right\}\subset \left\{\mid {\hat{\theta }}_n-\theta \mid <\epsilon \right\},$$

等价地

$$\left\{\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid ⩾\frac{\epsilon }{2}\right\}\supset \left\{\mid {\hat{\theta }}_n-\theta \mid ⩾\epsilon \right\}.$$

由此即有

$$P(\mid {\hat{\theta }}_n-\theta \mid ⩾\epsilon )⩽P\left(\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid ⩾\frac{\epsilon }{2}\right)⩽\frac{4}{{\epsilon }^2}\mathrm{Var}({\hat{\theta }}_n)\to 0(n\to \infty ),$$

定理得证.

例 6.2.5

设 $x_1,x_2,\cdots ,x_n$ 是来自均匀总体 $U(0,\theta )$ 的样本，证明 $x_{(n)}$ 是 $\theta$ 的相合估计.

证明

由次序统计量的分布,我们知道 $\hat{\theta }=x_{(n)}$ 的分布密度函数为

$$p(y)=n{y}^{n-1}/{\theta }^n,y<\theta .$$

故有

$$E(\hat{\theta })={\int }_0^{\theta }n{y}^n\mathrm{d}y/{\theta }^n=\frac{n}{n+1}\theta \to \theta (n\to \infty ),$$$$E({\hat{\theta }}^2)={\int }_0^{\theta }n{y}^{n+1}\mathrm{d}y/{\theta }^n=\frac{n}{n+2}{\theta }^2,$$$$\mathrm{Var}(\hat{\theta })=\frac{n}{n+2}{\theta }^2-{\left(\frac{n}{n+1}\theta \right)}^2=\frac{n}{(n+1{)}^2(n+2)}{\theta }^2\to 0(n\to \infty ).$$

由定理6.2.1 可知, $x_{(n)}$ 是 $\theta$ 的相合估计.

定理 6.2.2

若 ${\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\cdots ,{\hat{\theta }}_{nk}$ 分别是 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 的相合估计， $\eta =g({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$ 是 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 的连续函数，则 ${\hat{\eta }}_n=g({\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\cdots ,{\hat{\theta }}_{nk})$ 是 $\eta$ 的相合估计.

证明

由函数 $g$ 的连续性, 对任意给定的 $\epsilon >0$ , 存在一个 $\delta >0$ , 当 $\left|{\hat{\theta }}_{nj}-{\theta }_j\right|<\delta ,j=1,2,\cdots ,k$ 时, 有

$$\mid g({\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\dots ,{\hat{\theta }}_{nk})-g({\theta }_1,{\theta }_2,\dots ,{\theta }_k)\mid <\epsilon .\text{\hspace{1em}(6.2.3)}$$

又由 ${\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\cdots ,{\hat{\theta }}_{nk}$ 的相合性，对给定的 $\delta >0$ ，对任意给定的 v > 0，存在正整数 $N$，使得 $n⩾N$ 时，

$$P\left(\mid {\hat{\theta }}_{nj}-{\theta }_j\mid ⩾\delta \right)<v/k,j=1,2,\dots ,k.$$

从而有

$$P(\bigcap _{j=1}^k\{\mid {\hat{\theta }}_{nj}-{\theta }_j\mid <\delta \})=1-P(\bigcup _{j=1}^k\{\mid {\hat{\theta }}_{nj}-{\theta }_j\mid ⩾\delta \})$$$$\begin{array}{l}⩾1-{\sum }_{j=1}^{k}P(|{\hat{\theta }}_{nj}-{\theta }_j|⩾\delta )\\ >1-k\cdot v/k=1-v.\end{array}$$

根据（6.2.3）， ${\bigcap }_{j=1}^k\{\mid {\hat{\theta }}_{nj}-{\theta }_j\mid <\delta \}\subset \{\mid {\hat{\eta }}_n-\eta \mid <\epsilon \}$ ，故有

$$P\left(\mid {\hat{\eta }}_n-\eta \mid <\epsilon \right)>1-v,$$

由 $v$ 的任意性, 定理得证. 由大数定律及定理6.2.2, 我们可以看到, 矩估计一般都具有相合性. 比如: - 样本均值是总体均值的相合估计. - 样本标准差是总体标准差的相合估计. - 样本变异系数 $s/\bar{x}$ 是总体变异系数的相合估计.

例 6.2.6

设一个试验有三种可能结果, 其发生概率分别为

$$p_1={\theta }^2,p_2=2\theta (1-\theta ),p_3=(1-\theta {)}^2.$$

现做了 $n$ 次试验, 观测到三种结果发生的次数分别为 $n_1,n_2,n_3$ , 可以采用频率替换方法估计 $\theta$ . 由于可以有三个不同的 $\theta$ 的表达式

$$\theta =\sqrt{p_1},\theta =1-\sqrt{p_3},\theta =p_1+p_2/2.$$

从而可以给出 $\theta$ 的三种不同的频率替换估计, 它们分别是

$${\hat{\theta }}_1=\sqrt{n_1/n},{\hat{\theta }}_2=1-\sqrt{n_3/n},{\hat{\theta }}_3=(n_1+n_2/2)/n.$$

由大数定律, $n_1/n,n_2/n,n_3/n$ 分别是 $p_1,p_2,p_3$ 的相合估计,由定理6.2.2知,上述三个估计都是 $\theta$ 的相合估计.

习题6.2

1. 从一批电子元件中抽取8个进行寿命测试,得到如下数据(单位:$h$):

$$\begin{array}{llllllllcccccccc}1& 050& 1& 100& 1& 130& 1& 040& 1& 250& 1& 300& 1& 200& 1& 080\end{array}$$

试对这批元件的平均寿命以及寿命分布的标准差给出矩估计. 2. 设总体 $X\sim U(0,\theta )$ , 现从该总体中抽取容量为 10 的样本, 样本值为: 0.5 1.3 0.6 1.7 2.2 1.2 0.8 1.5 2.0 1.6 试对参数 $\theta$ 给出矩估计. 3. 设总体分布列如下, $x_1,x_2,\cdots ,x_n$ 是样本,试求未知参数的矩估计: (1) $P(X=k)=\frac{1}{N},k=0,1,2,\cdots ,N-1,N$ (正整数) 是未知参数； (2) $P(X=k)=(k-1){\theta }^2(1-\theta {)}^{k-2},k=2,3,\cdots ,0<\theta <1.$ 4. 设总体密度函数如下, $x_1,x_2,\cdots ,x_n$ 是样本,试求未知参数的矩估计: (1) $p(x;\theta )=\frac{2}{{\theta }^2}(\theta -x),0<x<\theta ,\theta >0;$ (2) $p(x;\theta )=(\theta +1)x^{\theta },0<x<1,\theta >0$ ; (3) $p(x;\theta )=\sqrt{\theta }{x}^{\sqrt{\theta }-1},0<x<1,\theta >0;$

$$(4)p(x;\theta ,\mu )=\frac{1}{\theta }{\mathrm{e}}^{-\frac{x-\mu }{\theta }},x>\mu ,\theta >0.$$

5. 设总体为 $N(\mu ,1)$ , 现对该总体观测 $n$ 次, 发现有 $k$ 次观测值为正, 使用频率替换方法求 $\mu$ 的估计.
6. 甲、乙两个校对员彼此独立对同一本书的样稿进行校对，校完后，甲发现 $a$ 个错字，乙发现 $b$ 个错字，其中共同发现的错字有 $c$ 个，试用矩估计给出如下两个未知参数的估计： (1) 该书样稿的总错字个数； (2) 未被发现的错字数.
7. 设总体 $X$ 服从二项分布 $b(m,p)$ ，其中 $m$,$p$ 为未知参数， $x_1,x_2,\cdots ,x_n$ 为 $X$ 的一个样本，求 $m$ 与 $p$ 的矩估计.