4.1 随机变量序列的两种收敛性

第4章大数定律与中心极限定理

随机变量序列的收敛性有多种,其中常用的是两种:依概率收敛和按分布收敛.本章讨论的大数定律涉及的是一种依概率收敛,中心极限定理涉及按分布收敛.这些极限定理不仅是概率论研究的中心议题,而且在数理统计中有广泛的应用.本节将给出这两种收敛性的定义及其有关性质,读者应从中吸收其思考问题的方法.

4.1.1 依概率收敛

在第一章用频率确定概率时,我们提出“概率是频率的稳定值”,或“频率稳定于概率”.现在我们来解释“稳定”的含义及其数学表达式. 设有一大批产品, 其不合格品率为 $p$ . 现一个接一个地检查产品的合格性, 记前 $n$ 次检查发现 $S_{n}$ 个不合格品, 而 $v_{n} = S_{n} / n$ 为不合格品出现的频率. 当检查继续下去, 我们就发现频率序列 $\{v_{n}\}$ 有如下两个现象: （1）频率 $v_{n}$ 对概率 $p$ 的绝对偏差 $\left|v_{n} - p\right|$ 将随 $n$ 增大而呈现逐渐减小的趋势，但无法说它收敛于零. （2）由于频率的随机性，绝对偏差 $|v_{n}-p|$ 时大时小。虽然我们无法排除大偏差发生的可能性，但随着 $n$ 不断增大，大偏差发生的可能性会越来越小。这是一种新的极限概念。下面我们用数学式子将上述概念表达出来.对任意给定的 $\varepsilon > 0$ , 事件 $\{|v_n - p| \geqslant \varepsilon\}$ 出现了就认为大偏差发生了.而大偏差发生的可能性越来越小, 相当于

P ( | v _ {n} - p | \geqslant \varepsilon) \rightarrow 0, ( n \rightarrow \infty ).

这时就可称频率序列 $\{v_{n}\}$ 依概率收敛. 这就是“频率稳定于概率”的含义. 下面给出一般的随机变量序列 $\{X_{n}\}$ 依概率收敛于一个随机变量 $X$ 的定义.

定义 4.1.1

设 $\{X_{n}\}$ 为一随机变量序列, $X$ 为一随机变量, 如果对任意的 $\varepsilon > 0$ , 有

P ( | X _ {n} - X | \geqslant \varepsilon) \rightarrow 0 (n \rightarrow \infty),\tag{4.1.1}

则称序列 $\{X_{n}\}$ 依概率收敛于 $X$ ，记作 $X_{n}\xrightarrow{P}X.$ 依概率收敛的含义是: $X_{n}$ 对 $X$ 的绝对偏差不小于任一给定量的可能性将随着 $n$ 增大而愈来愈小.或者说,绝对偏差 $|X_{n}-X|$ 小于任一给定量的可能性将随着 $n$ 增大而愈来愈接近于1,即(4.1.1)等价于

P ( | X _ {n} - X | < \varepsilon) \rightarrow 1 (n \rightarrow \infty).

特别当 $X$ 为退化分布时，即 $P(X = c) = 1$ ，则称序列 $\{X_{n}\}$ 依概率收敛于 $c$ ，即 $X_{n}\xrightarrow{P}c.$ 以下我们先给出依概率收敛于常数的四则运算性质.

定理 4.1.1

设 $\{X_{n}\},\{Y_{n}\}$ 是两个随机变量序列, $a$ , $b$ 是两个常数. 如果

X _ {n} \stackrel {P} {\longrightarrow} a , \qquad Y _ {n} \stackrel {P} {\longrightarrow} b ,

则有：(1) $X_{n} \pm Y_{n} \xrightarrow{P} a \pm b$ ； (2) $X_{n} \times Y_{n} \xrightarrow{P} a \times b$ ; (3) $X_{n} \div Y_{n} \xrightarrow{P} a \div b (b \neq 0)$ .

证明

(1) 因为

\{\mid (X _ {n} + Y _ {n}) - (a + b) \mid \geqslant \varepsilon \} \subset \left\{\mid X _ {n} - a \mid \geqslant \frac {\varepsilon}{2} \right\} \cup \left\{\mid Y _ {n} - b \mid \geqslant \frac {\varepsilon}{2} \right\},

所以

\begin{array}{r l}&0 \leqslant P (| (X _ {n} + Y _ {n}) - (a + b) | \geqslant \varepsilon)\\&\quad \leqslant P (| X _ {n} - a | \geqslant \frac {\varepsilon}{2}) + P (| Y _ {n} - b | \geqslant \frac {\varepsilon}{2}) \rightarrow 0 \quad (n \rightarrow \infty),\end{array}

即

P ( | ( X _ {n} + Y _ {n} ) - ( a + b ) | < \varepsilon) \to 1 \quad ( n \to \infty ) ,

由此得 $X_{n} + Y_{n}\xrightarrow{P}a + b.$ 类似可证 $X_{n} - Y_{n}\xrightarrow{P}a - b.$ (2) 为了证明 $X_{n} \times Y_{n} \xrightarrow{P} a \times b$ ，我们分几步进行： $i$ ) 若 $X_{n} \xrightarrow{P} 0$ , 则有 $X_{n}^{2} \xrightarrow{P} 0$ . 这是因为对任意 $\varepsilon > 0$ , 有

P ( | X _ {n} ^ {2} | \geqslant \varepsilon ) = P ( | X _ {n} | \geqslant \sqrt {\varepsilon} ) \to 0 \quad ( n \to \infty ) .

ii）若 $X_{n}\xrightarrow{P}a$ ，则有 $cX_{n}\xrightarrow{P}ca.$ 这是因为在 $c\neq 0$ 时，有

P (\mid c X _ {n} - c a \mid \geqslant \varepsilon) = P (\mid X _ {n} - a \mid \geqslant \varepsilon / \mid c \mid) \rightarrow 0 (n \rightarrow \infty),

而当 c=0 时, 结论显然成立. iii）若 $X_{n}\xrightarrow{P}a$ ，则有 $X_{n}^{2}\xrightarrow{P}a^{2}$ .这是因为有以下一系列结论：

X _ {n} - a \xrightarrow {P} 0, \qquad (X _ {n} - a) ^ {2} \xrightarrow {P} 0, \qquad 2 a (X _ {n} - a) \xrightarrow {P} 0,

(X _ {n} - a) ^ {2} + 2 a (X _ {n} - a) = X _ {n} ^ {2} - a ^ {2} \xrightarrow {P} 0, \qquad \text {即} X _ {n} ^ {2} \xrightarrow {P} a ^ {2}.

iv) 由 iii) 及 (1) 知

X _ {n} ^ {2} \stackrel {P} {\longrightarrow} a ^ {2}, \qquad Y _ {n} ^ {2} \stackrel {P} {\longrightarrow} b ^ {2}, \qquad (X _ {n} + Y _ {n}) ^ {2} \stackrel {P} {\longrightarrow} (a + b) ^ {2}.

从而有

X _ {n} \times Y _ {n} = \frac {1}{2} \big [ (X _ {n} + Y _ {n}) ^ {2} - X _ {n} ^ {2} - Y _ {n} ^ {2} \big ] \xrightarrow {P} \frac {1}{2} \big [ (a + b) ^ {2} - a ^ {2} - b ^ {2} \big ] = a b.

(3) 为了证明 $X_{n}/Y_{n} \xrightarrow{P} a/b$ ，我们先证： $1/Y_{n} \xrightarrow{P} 1/b$ 。这是因为对任意 $\varepsilon > 0$ ，有

\begin{array}{l}P \left(\left| \frac {1}{Y _ {n}} - \frac {1}{b} \right| \geqslant \varepsilon\right) = P \left(\left| \frac {Y _ {n} - b}{Y _ {n} b} \right| \geqslant \varepsilon\right)\\= P \left(\left| \frac {Y _ {n} - b}{b ^ {2} + b (Y _ {n} - b)} \right| \geqslant \varepsilon , | Y _ {n} - b | < \varepsilon\right) + P \left(\left| \frac {Y _ {n} - b}{b ^ {2} + b (Y _ {n} - b)} \right| \geqslant \varepsilon , | Y _ {n} - b | \geqslant \varepsilon\right)\\\leqslant P \left(\frac {| Y _ {n} - b |}{b ^ {2} - \varepsilon | b |} \geqslant \varepsilon\right) + P (\left| Y _ {n} - b \right| \geqslant \varepsilon) = P (\left| Y _ {n} - b \right| \geqslant (b ^ {2} - \varepsilon | b |) \varepsilon) + P (\left| Y _ {n} - b \right| \geqslant \varepsilon) \rightarrow 0 (n \rightarrow \infty).\end{array}

这就证明了 $1 / Y_{n}\xrightarrow{P} 1 / b$ ，再与 $X_{n}\xrightarrow{P} a$ 结合，利用(2)即得 $X_{n} / Y_{n}\xrightarrow{P} a / b.$ 这就完成了全部证明. 由此定理可以看出,随机变量序列在概率意义上的极限(即依概率收敛于常数 $a$ )在四则运算下仍然成立.这与数学分析中的数列极限十分类似.类似结论对依概率收敛于 X(随机变量)也成立(见习题 4.1 第 2 题).

4.1.2 按分布收敛、弱收敛

我们知道分布函数全面描述了随机变量的统计规律,因此讨论一个分布函数序列 $\{F_n(x)\}$ 收敛到一个极限分布函数 $F(x)$ 是有实际意义的.现在的问题是:如何来定义 $\{F_n(x)\}$ 的收敛性呢?很自然地,由于 $\{F_n(x)\}$ 是实变量函数序列,我们的一个猜想是:对所有的 $x$ ,要求 $F_n(x) \to F(x) (n \to \infty)$ 都成立,也即数学分析中的点点收敛.然而遗憾的是,以下例子告诉我们这个要求过严了.

例 4.1.1

设随机变量序列 $\{X_{n}\}$ 服从如下的退化分布

P \left(X _ {n} = \frac {1}{n}\right) = 1, \qquad n = 1, 2, \dots ,

它们的分布函数分别为

F _ {n} (x) = \left\{ \begin{array}{l l} 0, & x < \frac {1}{n}, \\ 1, & x \geqslant \frac {1}{n}. \end{array} \right.

首先我们指出:在点点收敛这个要求下, $\{F_{n}(x)\}$ 的极限函数

g (x) = \left\{ \begin{array}{l l} 0, & x \leqslant 0, \\ 1, & x > 0. \end{array} \right.

不满足右连续性, 即 $g(x)$ 不是一个分布函数. 这说明对分布函数序列 $\{F_n(x)\}$ 而言，要求其点点收敛到一个极限分布函数太苛刻了.如何把点点收敛这要求减弱一些呢？因为 $F_{n}(x)$ 是在点 $x = \frac{1}{n}$ 处有跳跃，所以当 $n\to \infty$ 时，跳跃点位置趋于0，于是我们很自然地认为 $\{F_n(x)\}$ 应该收敛于点 $x = 0$ 处的退化分布，即

F (x) = \left\{ \begin{array}{l l} 0, & x < 0, \\ 1, & x \geqslant 0. \end{array} \right.

但是,对任意的 $n$ ,有 $F_{n}(0)=0$ ,而 $F(0)=1$ ,所以

\lim _ {n \to \infty} F _ {n} (0) = 0 \neq 1 = F (0).

从这个例子我们得到启示:收敛关系不成立的点 x=0 恰好是 $F(x)$ 的间断点.这就启示我们,可以撇开这些间断点而只考虑 $F(x)$ 的连续点.这就是以下给出的关于分布函数列的弱收敛定义.

定义 4.1.2

设随机变量 $X, X_{1}, X_{2}, \cdots$ 的分布函数分别为 $F(x), F_{1}(x), F_{2}(x), \cdots$ . 若对 $F(x)$ 的任一连续点 $x$ ，都有

\lim _ {n \to \infty} F _ {n} (x) = F (x),\tag{4.1.2}

则称 $\{F_{n}(x)\}$ 弱收敛于 $F(x)$ ，记作

F _ {n} (x) \xrightarrow {W} F (x).\tag{4.1.3}

也称相应的随机变量序列 $\{X_{n}\}$ 按分布收敛于 $X$ ,记作

X _ {n} \xrightarrow {L} X.\tag{4.1.4}

以上定义的“弱收敛”是自然的,因为它比在每一点上都收敛的要求的确“弱”了些.若 $F(x)$ 是直线上的连续函数,则弱收敛就是点点收敛.

在上述定义中,分布函数序列 $\{F_{n}(x)\}$ 称为弱收敛,而随机变量序列 $\{X_{n}\}$ 则称为按分布收敛,这是在两种不同场合给出的两个不同名称,但其本质含义是一样的,都要求在 $F(x)$ 的连续点上有(4.1.2)式. 下面的定理说明依概率收敛是一种比按分布收敛更强的收敛性.

定理 4.1.2

$X_{n}\xrightarrow{P} X\Rightarrow X_{n}\xrightarrow{L} X.$

证明

设随机变量 $X, X_{1}, X_{2}, \cdots$ 的分布函数分别为 $F(x), F_{1}(x), F_{2}(x), \cdots$ . 为证 $X_{n} \xrightarrow{L} X$ , 相当于证 $F_{n}(x) \xrightarrow{W} F(x)$ , 所以只需证: 对所有的 $x$ , 有

F (x - 0) \leqslant \lim _ {n \rightarrow \infty} F _ {n} (x) \leqslant \overline {{\lim _ {n \rightarrow \infty}}} F _ {n} (x) \leqslant F (x + 0).\tag{4.1.5}

因为若上式成立,则当 $x$ 是 $F(x)$ 的连续点时,有 $F(x-0)=F(x+0)$ ,由此即可得 $F_{n}(x)\xrightarrow{W}F(x)$ . 为证(4.1.5)式,先令 $x^{\prime}<x$ ,则

\begin{array}{r l} \{X \leqslant x ^ {\prime} \} & = \{X _ {n} \leqslant x, X \leqslant x ^ {\prime} \} \cup \{X _ {n} > x, X \leqslant x ^ {\prime} \} \\ & \subset \{X _ {n} \leqslant x \} \cup \{| X _ {n} - X | \geqslant x - x ^ {\prime} \}, \end{array}

从而有

F (x ^ {\prime}) \leqslant F _ {n} (x) + P (\left| X _ {n} - X \right| \geqslant x - x ^ {\prime}).

由 $X_{n}\xrightarrow{P} X$ ，得 $P(\mid X_n - X\mid \geqslant x - x')\to 0(n\to \infty)$ .所以有

F (x ^ {\prime}) \leqslant \varliminf_ {n \to \infty} F _ {n} (x).

再令 $x^{\prime}\rightarrow x$ ，即得

F (x - 0) \leqslant \lim _ {n \to \infty} F _ {n} (x).

同理可证, 当 $x'' > x$ 时, 有

\varlimsup_ {n \to \infty} F _ {n} (x) \leqslant F (x ^ {\prime \prime}).

令 $x'' \to x$ ，即得

\varlimsup_ {n \rightarrow \infty} F _ {n} (x) \leqslant F (x + 0).

这就证明了定理.

以上定理的逆命题不成立,即由按分布收敛无法推出依概率收敛,见下例.

例 4.1.2

设随机变量 $X$ 的分布列为

P (X = - 1) = \frac {1}{2}, \qquad P (X = 1) = \frac {1}{2}.

令 $X_{n} = -X$ ，则 $X_{n}$ 与 $X$ 同分布，即 $X_{n}$ 与 $X$ 有相同的分布函数，故 $X_{n}\xrightarrow{L}X.$ 但对任意的 $0 < \varepsilon < 2$ ，有

P ( | X _ {n} - X | \geqslant \varepsilon) = P (2 | X | \geqslant \varepsilon) = 1 \not \to 0,

即 $X_{n}$ 不依概率收敛于 $X$ . 以上例子说明：一般按分布收敛与依概率收敛是不等价的。而下面的定理则说明：当极限随机变量为常数（服从退化分布）时，按分布收敛与依概率收敛是等价的。

定理 4.1.3

若 $c$ 为常数, 则 $X_{n} \xrightarrow{P} c$ 的充要条件是: $X_{n} \xrightarrow{L} c$ .

证明

必要性已由定理4.1.2 给出, 下证充分性. 记 $X_{n}$ 的分布函数为 $F_{n}(x), n=1,2,\cdots$ 因为常数 $c$ 的分布函数 (退化分布) 为

F (x) = \left\{ \begin{array}{l l} 0, & x < c, \\ 1, & x \geqslant c. \end{array} \right.

所以对任意的 $\varepsilon > 0$ ，有

\begin{array}{r l} P ( | X _ {n} - c | \geqslant \varepsilon) & = P ( X _ {n} \geqslant c + \varepsilon) + P ( X _ {n} \leqslant c - \varepsilon) \leqslant P ( X _ {n} > c + \varepsilon / 2) + P ( X _ {n} \leqslant c - \varepsilon) \\ & = 1 - F _ {n} ( c + \varepsilon / 2) + F _ {n} ( c - \varepsilon). \end{array}

由于 $x = c + \varepsilon / 2$ 和 $x = c - \varepsilon$ 均为 $F(x)$ 的连续点，且 $F_{n}(x) \xrightarrow{W} F(x)$ ，所以当 $n \to \infty$ 时，有

F _ {n} (c + \varepsilon / 2) \rightarrow F (c + \varepsilon / 2) = 1, \quad F _ {n} (c - \varepsilon) \rightarrow F (c - \varepsilon) = 0.

由此得即 $X_{n}\xrightarrow{P}c.$ 定理证毕.

P ( | X _ {n} - c | \geqslant \varepsilon) \to 0.

习题4.1

如果 $X_{n} \xrightarrow{P} X$ , 且 $X_{n} \xrightarrow{P} Y$ . 试证: $P(X = Y) = 1$ .
如果 $X_{n} \xrightarrow{P} X, Y_{n} \xrightarrow{P} Y$ . 试证： (1) $X_{n} + Y_{n}\xrightarrow{P} X + Y;$ (2) $X_{n}Y_{n}\xrightarrow{P} XY.$
如果 $X_{n} \xrightarrow{P} X, g(x)$ 是直线上的连续函数，试证： $g(X_{n}) \xrightarrow{P} g(X)$ .
如果 $X_{n} \xrightarrow{P} a$ ，则对任意常数 $c$ ，有

c X _ {n} \xrightarrow {P} c a.

试证: $X_{n} \xrightarrow{P} X$ 的充要条件为: 当 $n \to \infty$ 时, 有

E \left(\frac {\mid X _ {n} - X \mid}{1 + \mid X _ {n} - X \mid}\right)\rightarrow 0.

设 $D(x)$ 为退化分布：

D (x) = \left\{ \begin{array}{l l} 0, & x < 0, \\ 1, & x \geqslant 0. \end{array} \right.

试问下列分布函数列的极限函数是否仍是分布函数？（其中 $n=1,2,\cdots$ ） (1) $\{D(x + n)\}$ ; (2) $\{D(x + 1 / n)\}$ ; (3) $\{D(x - 1 / n)\}$ . 7. 设分布函数列 $\{F_{n}(x)\}$ 弱收敛于连续的分布函数 $F(x)$ , 试证: $\{F_{n}(x)\}$ 在 $(- \infty, \infty)$ 上一致收敛于分布函数 $F(x)$ . 8. 如果 $X_{n} \xrightarrow{L} X$ ，且数列 $a_{n} \to a, b_{n} \to b$ . 试证： $a_{n}X_{n} + b_{n} \xrightarrow{L} aX + b$ . 9. 如果 $X_{n} \xrightarrow{L} X, Y_{n} \xrightarrow{P} a$ ，试证： $X_{n} + Y_{n} \xrightarrow{L} X + a$ . 10. 如果 $X_{n} \xrightarrow{L} X, Y_{n} \xrightarrow{P} 0$ , 试证: $X_{n}Y_{n} \xrightarrow{P} 0$ . 11. 如果 $X_{n} \xrightarrow{L} X, Y_{n} \xrightarrow{P} a$ , 且 $Y_{n} \neq 0$ , 常数 $a \neq 0$ . 试证: $X_{n} / Y_{n} \xrightarrow{L} X / a$ . 12. 设随机变量 $X_{n}$ 服从柯西分布, 其密度函数为

p _ {n} (x) = \frac {n}{\pi (1 + n ^ {2} x ^ {2})}, \quad - \infty < x < \infty .

试证： $X_{n}\xrightarrow{P}0.$ 13. 设随机变量序列 $\{X_{n}\}$ 独立同分布, 其密度函数为

p (x) = \left\{ \begin{array}{l l} 1 / \beta , & 0 < x < \beta , \\ 0, & \text {其他}. \end{array} \right.

其中常数 $\beta>0$ ，令 $Y_{n}=\max\left\{X_{1},X_{2},\cdots,X_{n}\right\}$ ，试证： $Y_{n}\xrightarrow{P}\beta.$ 14. 设随机变量序列 $\{X_{n}\}$ 独立同分布, 其密度函数为

p (x) = \left\{ \begin{array}{l l} \mathrm{e} ^ {- (x - \alpha)}, & x \geqslant \alpha , \\ 0, & x < \alpha . \end{array} \right.

令 $Y_{n}=\min\left\{X_{1},X_{2},\cdots,X_{n}\right\}$ ，试证： $Y_{n}\xrightarrow{P}\alpha.$ 15. 设随机变量序列 $\{X_{n}\}$ 独立同分布，且 $X_{i} \sim U(0,1)$ . 令 $Y_{n} = \left(\prod_{i=1}^{n} X_{i}\right)^{\frac{1}{n}}$ ，试证明： $Y_{n} \xrightarrow{P} c$ ，其中 $c$ 为常数，并求出 $c$ . 16. 设分布函数列 $\{F_{n}(x)\}$ 弱收敛于分布函数 $F(x)$ , 且 $F_{n}(x)$ 和 $F(x)$ 都是连续、严格单调函数, 又设 $\xi$ 服从(0,1)上的均匀分布, 试证: $F_{n}^{-1}(\xi) \xrightarrow{P} F^{-1}(\xi)$ . 17. 设随机变量序列 $\{X_{n}\}$ 独立同分布, 数学期望、方差均存在, 且 $E(X_{n}) = \mu$ . 试证:

\frac {2}{n (n + 1)} \sum_ {k = 1} ^ {n} k \cdot X _ {k} \xrightarrow {P} \mu .

设随机变量序列 $\{X_{n}\}$ 独立同分布，数学期望、方差均存在，且

E (X _ {n}) = 0, \quad \operatorname{Var} (X _ {n}) = \sigma^ {2}.

试证：

\frac {1}{n} \sum_ {k = 1} ^ {n} X _ {k} ^ {2} \xrightarrow {P} \sigma^ {2}.

设随机变量序列 $\{X_{n}\}$ 独立同分布，且 $\operatorname{Var}(X_n) = \sigma^2$ 存在，令

\overline {{{X}}} = \frac {1}{n} \sum_ {i = 1} ^ {n} X _ {i}, \qquad S _ {n} ^ {2} = \frac {1}{n} \sum_ {i = 1} ^ {n} (X _ {i} - \overline {{{X}}}) ^ {2}.

试证： $S_{n}^{2}\xrightarrow{P}\sigma^{2}.$ 20. 将 $n$ 个编号为 1 至 $n$ 的球放入 $n$ 个编号为 1 至 $n$ 的盒子中, 每个盒子只能放一个球, 记

X _ {i} = \left\{ \begin{array}{l l} 1, & \text {编号为} i \text {的球放入编号为} i \text {的盒子}, \\ 0, & \text {其他}, \end{array} \right.

$S_{n} = \sum_{i=1}^{n} X_{i}$ ，试证明：

\frac {S _ {n} - E (S _ {n})}{n} \xrightarrow {P} 0.

概率论与数理统计教程（第三版） · 章节内联关系图谱

0 章节0 跨章引用0 关联边

正在分析并生成全书章节关系拓扑...

4.1 随机变量序列的两种收敛性

第4章 大数定律与中心极限定理

4.1.1 依概率收敛

4.1.2 按分布收敛、弱收敛

第4章大数定律与中心极限定理