6.2 矩估计及相合性

6.2.1 替换原理和矩法估计

1900 年 $K$．皮尔逊提出了一个替换原理，后来人们称此方法为矩法． 替换原理常指如下两句话： - 用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩． - 用样本矩的函数去替换相应的总体矩的函数． 根据这个替换原理，在总体分布形式未知场合也可对各种参数作出估计，譬如: - 用样本均值 $\overline{x}$ 估计总体均值 $E(X)$ . - 用样本方差 $s^2$ 估计总体方差 $\mathrm{Var}(X)$ . - 用事件 $A$ 出现的频率估计事件 $A$ 发生的概率． - 用样本的 $p$ 分位数估计总体的 $p$ 分位数，特别，用样本中位数估计总体中位数．

例 6.2.1

对某型号的 20 辆汽车记录其每 5 L 汽油的行驶里程(单位: km)，观测数据如下：

29.8	27.6	28.3	27.9	30.1	28.7	29.9	28.0	27.9	28.7
28.4	27.2	29.5	28.5	28.0	30.0	29.1	29.8	29.6	26.9

这是一个容量为 20 的样本观测值，对应总体是该型号汽车每 5 L 汽油的行驶里程，其分布形式尚不清楚，可用矩法估计其均值、方差和中位数等．本例中经计算有

bar x = 2 8. 6 9 5, s ^ 2 = 0. 9 6 6 8, m _ 0. 5 = 2 8. 6,$$\bar{x}=28.695,s^2=0.9668,m_{0.5}=28.6,$$

由此给出总体均值、方差和中位数的估计分别为 28.695, 0.9668 和 28.6. 矩法估计的统计思想(替换原理)十分简单明确，众人都能接受，使用场合甚广．它的实质是用经验分布函数去替换总体分布，其理论基础是格利文科定理．

6.2.2 概率函数已知时未知参数的矩估计

设总体具有已知的概率函数 $p(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$ ， $({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)\in \Theta$ 是未知参数或参数向量， $x_1,x_2,\cdots ,x_n$ 是样本，假定总体的 $k$ 阶原点矩 ${\mu }_k$ 存在，则对所有的 $j$，0<j<k, ${\mu }_j$ 都存在，若假设 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 能够表示成 ${\mu }_1,{\mu }_2,\cdots ,{\mu }_k$ 的函数 ${\theta }_j={\theta }_j({\mu }_1,{\mu }_2,\cdots ,{\mu }_k)$ ，则可给出诸 ${\theta }_j$ 的矩估计：

hat θ _ j = θ_ j (a _ 1, a _ 2, … , a _ k), j = 1, 2, … , k,$${\hat{\theta }}_j={\theta }_j(a_1,a_2,\dots ,a_k),j=1,2,\dots ,k,$$

其中 $a_1,a_2,\cdots ,a_k$ 是前 $k$ 阶样本原点矩 $a_j=\frac{1}{n}{\sum }_{i=1}^n{x}_i^j$．进一步，如果我们要估计 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 的函数 $\eta =g({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$，则可直接得到 $\eta$ 的矩估计

hat η = g (hat θ _ 1, hat θ _ 2, … , hat θ _ k),$$\hat{\eta }=g\left({\hat{\theta }}_1,{\hat{\theta }}_2,\dots ,{\hat{\theta }}_k\right),$$

当 k=1 时，我们通常可以由样本均值出发对未知参数进行估计; 如果 k=2, 我们可以由一阶、二阶原点矩(或二阶中心矩)出发估计未知参数．

例 6.2.2

设总体为指数分布，其密度函数为

p (x; λ) = λ e ^ - λ x, x ≥slant 0,$$p(x;\lambda )=\lambda {\mathrm{e}}^{-\lambda x},x⩾0,$$

$x_1,x_2,\cdots ,x_n$ 是样本，此处k=1,由于 $E(X)=1/\lambda$，亦即 $\lambda =1/E(X)$，故 $\lambda$ 的矩估计为

hat λ = 1 / bar x.$$\hat{\lambda }=1/\bar{x}.$$

另外，由于 $\mathrm{Var}(X)=1/{\lambda }^2$，其反函数为 $\lambda =1/\sqrt{\mathrm{Var}(X)}$，因此，从替换原理来看，$\lambda$ 的矩估计也可取为

hat λ _ 1 = 1 / s,$${\hat{\lambda }}_1=1/s,$$

$s$ 为样本标准差．这说明矩估计可能是不唯一的，此时通常应该尽量采用低阶矩给出未知参数的估计．

例 6.2.3

设 $x_1,x_2,\cdots ,x_n$ 是来自均匀分布 $U(a,b)$ 的样本，$a$ 与 $b$ 均是未知参数，这里 k = 2，由于

E (X) = frac a + b2, operatornameVar (X) = frac (b - a) ^ 21 2,$$E(X)=\frac{a+b}{2},\mathrm{Var}(X)=\frac{(b-a{)}^2}{12},$$

不难推出

a = E (X) - sqrt 3 operatornameVar (X), b = E (X) + sqrt 3 operatornameVar (X),$$a=E(X)-\sqrt{3\mathrm{Var}(X)},b=E(X)+\sqrt{3\mathrm{Var}(X)},$$

由此即可得到 $a$, $b$ 的矩估计：

hat a = bar x - sqrt 3 s, hat b = bar x + sqrt 3 s,$$\hat{a}=\bar{x}-\sqrt{3}s,\hat{b}=\bar{x}+\sqrt{3}s,$$

若从均匀分布总体 $U(a,b)$ 获得如下一个容量为5的样本：

4.5 5.0 4.7 4.0 4.2

经计算，有 $\bar{x}=4.48,s=0.3962$，于是可得$a$,$b$的矩估计为

hat a = 4. 4 8 - 0. 3 9 6 2 sqrt 3 = 3. 7 9 3 8,$$\hat{a}=4.48-0.3962\sqrt{3}=3.7938,$$hat b = 4. 4 8 + 0. 3 9 6 2 sqrt 3 = 5. 1 6 6 2.$$\hat{b}=4.48+0.3962\sqrt{3}=\mathrm{5.1662.}$$

6.2.3 相合性

我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值．但如果我们有足够的观测值，根据格利文科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，其定义如下．

定义 6.2.1

设 $\theta \in \Theta$ 为未知参数，${\hat{\theta }}_n={\hat{\theta }}_n(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的一个估计量，$n$ 是样本容量，若对任何一个 $\epsilon >0$，有

lim _ n → ∞ P (| hat θ _ n - θ | ≥slant ε) = 0, (6.2.1)$$\underset{n\to \infty }{\lim }P(\mid {\hat{\theta }}_n-\theta \mid ⩾\epsilon )=0,\text{\hspace{1em}(6.2.1)}$$

则称 ${\hat{\theta }}_n$ 为参数 $\theta$ 的相合估计． 相合性被认为是对估计的一个最基本要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计是很值得怀疑的．通常，不满足相合性要求的估计不予考虑． 若把依赖于样本量 $n$ 的估计量 ${\hat{\theta }}_n$ 看作一个随机变量序列，相合性就是 ${\hat{\theta }}_n$ 依概率收敛于 $\theta$，所以证明估计的相合性可应用依概率收敛的性质及各种大数定律．

例 6.2.4

设 $x_1,x_2,\cdots$ 是来自正态总体 $N(\mu ,{\sigma }^2)$ 的样本序列，则由辛钦大数定律及依概率收敛的性质知： - $\bar{x}$ 是 $\mu$ 的相合估计． - $s_n^2$ 是 ${\sigma }^2$ 的相合估计． - $s^2$ 也是 ${\sigma }^2$ 的相合估计． 由此可见参数的相合估计不止一个． 在判断估计的相合性时下述两个定理是很有用的．

定理 6.2.1

设 ${\hat{\theta }}_n={\hat{\theta }}_n(x_1,x_2,\cdots ,x_n)$ 是 $\theta$ 的一个估计量，若

lim _ n → ∞ E (hat θ _ n) = θ , lim _ n → ∞ Var (hat θ _ n) = 0, (6.2.2)$$\underset{n\to \infty }{\lim }E({\hat{\theta }}_n)=\theta ,\underset{n\to \infty }{\lim }\mathrm{Var}({\hat{\theta }}_n)=0,\text{\hspace{1em}(6.2.2)}$$

则 ${\hat{\theta }}_n$ 是 $\theta$ 的相合估计．

证明

对任意的 $\epsilon >0$，由切比雪夫不等式有

P (| hat θ _ n - E (hat θ _ n) | ≥slant frac ε2) ≤slant frac 4ε^ 2 Var (hat θ _ n).$$P\left(\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid ⩾\frac{\epsilon }{2}\right)⩽\frac{4}{{\epsilon }^2}\mathrm{Var}({\hat{\theta }}_n).$$

另一方面，由 ${\lim }_{n\to \infty }E({\hat{\theta }}_n)=\theta$ 可知，当 $n$ 充分大时有

| E (hat θ _ n) - θ | < frac ε2.$$\left|E\left({\hat{\theta }}_n\right)-\theta \right|<\frac{\epsilon }{2}.$$

意到此时如果 $|{\hat{\theta }}_n-E({\hat{\theta }}_n)|<\frac{\epsilon }{2}$ ，就有

| hat θ _ n - θ | ≤slant | hat θ _ n - E (hat θ _ n) | + | E (hat θ _ n) - θ | < ε ,$$\mid {\hat{\theta }}_n-\theta \mid ⩽\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid +\mid E({\hat{\theta }}_n)-\theta \mid <\epsilon ,$$

故

{| hat θ _ n - E (hat θ _ n) | < frac ε2 } ⊂ {| hat θ _ n - θ | < ε },$$\left\{\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid <\frac{\epsilon }{2}\right\}\subset \left\{\mid {\hat{\theta }}_n-\theta \mid <\epsilon \right\},$$

等价地

{| hat θ _ n - E (hat θ _ n) | ≥slant frac ε2 } ⊃ {| hat θ _ n - θ | ≥slant ε }.$$\left\{\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid ⩾\frac{\epsilon }{2}\right\}\supset \left\{\mid {\hat{\theta }}_n-\theta \mid ⩾\epsilon \right\}.$$

由此即有

P (| hat θ _ n - θ | ≥slant ε) ≤slant P (| hat θ _ n - E (hat θ _ n) | ≥slant frac ε2) ≤slant frac 4ε^ 2 Var (hat θ _ n) arrow 0 (n arrow ∞),$$P(\mid {\hat{\theta }}_n-\theta \mid ⩾\epsilon )⩽P\left(\mid {\hat{\theta }}_n-E({\hat{\theta }}_n)\mid ⩾\frac{\epsilon }{2}\right)⩽\frac{4}{{\epsilon }^2}\mathrm{Var}({\hat{\theta }}_n)\to 0(n\to \infty ),$$

定理得证．

例 6.2.5

设 $x_1,x_2,\cdots ,x_n$ 是来自均匀总体 $U(0,\theta )$ 的样本，证明 $x_{(n)}$ 是 $\theta$ 的相合估计．

证明

由次序统计量的分布，我们知道 $\hat{\theta }=x_{(n)}$ 的分布密度函数为

p (y) = n y ^ n - 1 / θ^ n, y < θ .$$p(y)=n{y}^{n-1}/{\theta }^n,y<\theta .$$

故有

E (hat θ) = ∫_ 0 ^ θ n y ^ n d y / θ^ n = frac nn + 1 θ arrow θ (n arrow ∞),$$E(\hat{\theta })={\int }_0^{\theta }n{y}^n\mathrm{d}y/{\theta }^n=\frac{n}{n+1}\theta \to \theta (n\to \infty ),$$E (hat θ ^ 2) = ∫_ 0 ^ θ n y ^ n + 1 d y / θ^ n = frac nn + 2 θ^ 2,$$E({\hat{\theta }}^2)={\int }_0^{\theta }n{y}^{n+1}\mathrm{d}y/{\theta }^n=\frac{n}{n+2}{\theta }^2,$$operatornameVar (hat θ) = frac nn + 2 θ^ 2 - (frac nn + 1 θ) ^ 2 = frac n(n + 1) ^ 2 (n + 2) θ^ 2 arrow 0 (n arrow ∞).$$\mathrm{Var}(\hat{\theta })=\frac{n}{n+2}{\theta }^2-{\left(\frac{n}{n+1}\theta \right)}^2=\frac{n}{(n+1{)}^2(n+2)}{\theta }^2\to 0(n\to \infty ).$$

由定理6.2.1 可知，$x_{(n)}$ 是 $\theta$ 的相合估计．

定理 6.2.2

若 ${\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\cdots ,{\hat{\theta }}_{nk}$ 分别是 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 的相合估计， $\eta =g({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$ 是 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$ 的连续函数，则 ${\hat{\eta }}_n=g({\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\cdots ,{\hat{\theta }}_{nk})$ 是 $\eta$ 的相合估计．

证明

由函数 $g$ 的连续性，对任意给定的 $\epsilon >0$，存在一个 $\delta >0$，当 $\left|{\hat{\theta }}_{nj}-{\theta }_j\right|<\delta ,j=1,2,\cdots ,k$ 时，有

| g (hat θ _ n 1, hat θ _ n 2, … , hat θ _ n k) - g (θ_ 1, θ_ 2, … , θ_ k) | < ε . (6.2.3)$$\mid g({\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\dots ,{\hat{\theta }}_{nk})-g({\theta }_1,{\theta }_2,\dots ,{\theta }_k)\mid <\epsilon .\text{\hspace{1em}(6.2.3)}$$

又由 ${\hat{\theta }}_{n1},{\hat{\theta }}_{n2},\cdots ,{\hat{\theta }}_{nk}$ 的相合性，对给定的 $\delta >0$ ，对任意给定的 v > 0，存在正整数 $N$，使得 $n⩾N$ 时，

P (| hat θ _ n j - θ_ j | ≥slant δ) < v / k, j = 1, 2, … , k.$$P\left(\mid {\hat{\theta }}_{nj}-{\theta }_j\mid ⩾\delta \right)<v/k,j=1,2,\dots ,k.$$

从而有

P (cap_ j = 1 ^ k {| hat θ _ n j - θ_ j | < δ } ) = 1 - P (cup_ j = 1 ^ k {| hat θ _ n j - θ_ j | ≥slant δ } )$$P(\bigcap _{j=1}^k\{\mid {\hat{\theta }}_{nj}-{\theta }_j\mid <\delta \})=1-P(\bigcup _{j=1}^k\{\mid {\hat{\theta }}_{nj}-{\theta }_j\mid ⩾\delta \})$$l ≥slant 1 - ∑_ j = 1 ^ k P (| hat θ _ n j - θ_ j | ≥slant δ) > 1 - k · v / k = 1 - v.$$\begin{array}{l}⩾1-{\sum }_{j=1}^{k}P(|{\hat{\theta }}_{nj}-{\theta }_j|⩾\delta )\\ >1-k\cdot v/k=1-v.\end{array}$$

根据（6.2.3）， ${\bigcap }_{j=1}^k\{\mid {\hat{\theta }}_{nj}-{\theta }_j\mid <\delta \}\subset \{\mid {\hat{\eta }}_n-\eta \mid <\epsilon \}$ ，故有

P (| hat η _ n - η | < ε) > 1 - v,$$P\left(\mid {\hat{\eta }}_n-\eta \mid <\epsilon \right)>1-v,$$

由 $v$ 的任意性，定理得证． 由大数定律及定理6.2.2, 我们可以看到，矩估计一般都具有相合性．比如: - 样本均值是总体均值的相合估计． - 样本标准差是总体标准差的相合估计． - 样本变异系数 $s/\bar{x}$ 是总体变异系数的相合估计．

例 6.2.6

设一个试验有三种可能结果，其发生概率分别为

p _ 1 = θ^ 2, p _ 2 = 2 θ (1 - θ), p _ 3 = (1 - θ) ^ 2.$$p_1={\theta }^2,p_2=2\theta (1-\theta ),p_3=(1-\theta {)}^2.$$

现做了 $n$ 次试验，观测到三种结果发生的次数分别为 $n_1,n_2,n_3$，可以采用频率替换方法估计 $\theta$．由于可以有三个不同的 $\theta$ 的表达式

θ = sqrt p _ 1, θ = 1 - sqrt p _ 3, θ = p _ 1 + p _ 2 / 2.$$\theta =\sqrt{p_1},\theta =1-\sqrt{p_3},\theta =p_1+p_2/2.$$

从而可以给出 $\theta$ 的三种不同的频率替换估计，它们分别是

hat θ _ 1 = sqrt n _ 1 / n, hat θ _ 2 = 1 - sqrt n _ 3 / n, hat θ _ 3 = (n _ 1 + n _ 2 / 2) / n.$${\hat{\theta }}_1=\sqrt{n_1/n},{\hat{\theta }}_2=1-\sqrt{n_3/n},{\hat{\theta }}_3=(n_1+n_2/2)/n.$$

由大数定律，$n_1/n,n_2/n,n_3/n$ 分别是 $p_1,p_2,p_3$ 的相合估计，由定理6.2.2知，上述三个估计都是 $\theta$ 的相合估计．

习题6.2

1. 从一批电子元件中抽取8个进行寿命测试，得到如下数据(单位:$h$):

l l l l l l l l 1 & 0 5 0 & 1 & 1 0 0 & 1 & 1 3 0 & 1 & 0 4 0 & 1 & 2 5 0 & 1 & 3 0 0 & 1 & 2 0 0 & 1 & 0 8 0$$\begin{array}{llllllllcccccccc}1& 050& 1& 100& 1& 130& 1& 040& 1& 250& 1& 300& 1& 200& 1& 080\end{array}$$

试对这批元件的平均寿命以及寿命分布的标准差给出矩估计． 2. 设总体 $X\sim U(0,\theta )$，现从该总体中抽取容量为 10 的样本，样本值为: 0.5 1.3 0.6 1.7 2.2 1.2 0.8 1.5 2.0 1.6 试对参数 $\theta$ 给出矩估计． 3. 设总体分布列如下，$x_1,x_2,\cdots ,x_n$ 是样本，试求未知参数的矩估计: (1) $P(X=k)=\frac{1}{N},k=0,1,2,\cdots ,N-1,N$ (正整数) 是未知参数； (2) $P(X=k)=(k-1){\theta }^2(1-\theta {)}^{k-2},k=2,3,\cdots ,0<\theta <1.$ 4. 设总体密度函数如下，$x_1,x_2,\cdots ,x_n$ 是样本，试求未知参数的矩估计: (1) $p(x;\theta )=\frac{2}{{\theta }^2}(\theta -x),0<x<\theta ,\theta >0;$ (2) $p(x;\theta )=(\theta +1)x^{\theta },0<x<1,\theta >0$ ; (3) $p(x;\theta )=\sqrt{\theta }{x}^{\sqrt{\theta }-1},0<x<1,\theta >0;$

(4) p (x; θ , μ) = frac 1θ e ^ - frac x - μθ, x > μ , θ > 0.$$(4)p(x;\theta ,\mu )=\frac{1}{\theta }{\mathrm{e}}^{-\frac{x-\mu }{\theta }},x>\mu ,\theta >0.$$

5. 设总体为 $N(\mu ,1)$，现对该总体观测 $n$ 次，发现有 $k$ 次观测值为正，使用频率替换方法求 $\mu$ 的估计．
6. 甲、乙两个校对员彼此独立对同一本书的样稿进行校对，校完后，甲发现 $a$ 个错字，乙发现 $b$ 个错字，其中共同发现的错字有 $c$ 个，试用矩估计给出如下两个未知参数的估计： (1) 该书样稿的总错字个数； (2) 未被发现的错字数．
7. 设总体 $X$ 服从二项分布 $b(m,p)$ ，其中 $m$,$p$ 为未知参数， $x_1,x_2,\cdots ,x_n$ 为 $X$ 的一个样本，求 $m$ 与 $p$ 的矩估计．