第4章 大数定律与中心极限定理
Section titled “第4章 大数定律与中心极限定理”随机变量序列的收敛性有多种,其中常用的是两种:依概率收敛和按分布收敛.本章讨论的大数定律涉及的是一种依概率收敛,中心极限定理涉及按分布收敛.这些极限定理不仅是概率论研究的中心议题,而且在数理统计中有广泛的应用.本节将给出这两种收敛性的定义及其有关性质,读者应从中吸收其思考问题的方法.
4.1.1 依概率收敛
Section titled “4.1.1 依概率收敛”在第一章用频率确定概率时,我们提出“概率是频率的稳定值”,或“频率稳定于概率”.现在我们来解释“稳定”的含义及其数学表达式. 设有一大批产品,其不合格品率为 p.现一个接一个地检查产品的合格性,记前 n 次检查发现 Sₙ 个不合格品,而 vₙ = Sₙ / n 为不合格品出现的频率.当检查继续下去,我们就发现频率序列 {vₙ} 有如下两个现象: (1)频率 vₙ 对概率 p 的绝对偏差 |vₙ - p| 将随 n 增大而呈现逐渐减小的趋势,但无法说它收敛于零. (2)由于频率的随机性,绝对偏差 |vₙ-p| 时大时小。虽然我们无法排除大偏差发生的可能性,但随着n不断增大,大偏差发生的可能性会越来越小。这是一种新的极限概念。 下面我们用数学式子将上述概念表达出来.对任意给定的 ε > 0,事件 {|vₙ - p| ≥slant ε} 出现了就认为大偏差发生了.而大偏差发生的可能性越来越小,相当于
P ( | v _ n - p | ≥slant ε) arrow 0, ( n arrow ∞ ).这时就可称频率序列 {vₙ} 依概率收敛.这就是“频率稳定于概率”的含义. 下面给出一般的随机变量序列 {Xₙ} 依概率收敛于一个随机变量 X 的定义.
设 {Xₙ} 为一随机变量序列,X 为一随机变量,如果对任意的 ε > 0,有
P ( | X _ n - X | ≥slant ε) arrow 0 (n arrow ∞), (4.1.1)则称序列 {Xₙ} 依概率收敛于 X ,记作 XₙxrightarrowPX. 依概率收敛的含义是: Xₙ 对 X 的绝对偏差不小于任一给定量的可能性将随着 n 增大而愈来愈小.或者说,绝对偏差 |Xₙ-X| 小于任一给定量的可能性将随着n增大而愈来愈接近于1,即(4.1.1)等价于
P ( | X _ n - X | < ε) arrow 1 (n arrow ∞).特别当 X 为退化分布时,即 P(X = c) = 1 ,则称序列 {Xₙ} 依概率收敛于 c ,即 XₙxrightarrowPc. 以下我们先给出依概率收敛于常数的四则运算性质.
设 {Xₙ},{Yₙ} 是两个随机变量序列,a, b 是两个常数.如果
X _ n stackrel P longrightarrow a , Y _ n stackrel P longrightarrow b ,则有:(1) Xₙ ± Yₙ xrightarrowP a ± b ; (2) Xₙ × Yₙ xrightarrowP a × b ; (3) Xₙ ÷ Yₙ xrightarrowP a ÷ b (b ≠ 0) .
证明
(1) 因为
{| (X _ n + Y _ n) - (a + b) | ≥slant ε } ⊂ {| X _ n - a | ≥slant frac ε2 } ∪ {| Y _ n - b | ≥slant frac ε2 },所以
r l&0 ≤slant P (| (X _ n + Y _ n) - (a + b) | ≥slant ε)& ≤slant P (| X _ n - a | ≥slant frac ε2) + P (| Y _ n - b | ≥slant frac ε2) arrow 0 (n arrow ∞),即
P ( | ( X _ n + Y _ n ) - ( a + b ) | < ε) → 1 ( n → ∞ ) ,由此得 Xₙ + YₙxrightarrowPa + b. 类似可证 Xₙ - YₙxrightarrowPa - b. (2) 为了证明 Xₙ × Yₙ xrightarrowP a × b ,我们分几步进行: i) 若 Xₙ xrightarrowP 0,则有 Xₙ² xrightarrowP 0.这是因为对任意 ε > 0,有
P ( | X _ n ^ 2 | ≥slant ε ) = P ( | X _ n | ≥slant sqrt ε ) → 0 ( n → ∞ ) .ii)若 XₙxrightarrowPa ,则有 cXₙxrightarrowPca. 这是因为在 c≠ 0 时,有
P (| c X _ n - c a | ≥slant ε) = P (| X _ n - a | ≥slant ε / | c |) arrow 0 (n arrow ∞),而当 c=0 时,结论显然成立. iii)若 XₙxrightarrowPa ,则有 Xₙ²xrightarrowPa².这是因为有以下一系列结论:
X _ n - a xrightarrow P 0, (X _ n - a) ^ 2 xrightarrow P 0, 2 a (X _ n - a) xrightarrow P 0,(X _ n - a) ^ 2 + 2 a (X _ n - a) = X _ n ^ 2 - a ^ 2 xrightarrow P 0, text 即 X _ n ^ 2 xrightarrow P a ^ 2.iv) 由 iii) 及 (1) 知
X _ n ^ 2 stackrel P longrightarrow a ^ 2, Y _ n ^ 2 stackrel P longrightarrow b ^ 2, (X _ n + Y _ n) ^ 2 stackrel P longrightarrow (a + b) ^ 2.从而有
X _ n × Y _ n = frac 12 [ (X _ n + Y _ n) ^ 2 - X _ n ^ 2 - Y _ n ^ 2 ] xrightarrow P frac 12 [ (a + b) ^ 2 - a ^ 2 - b ^ 2 ] = a b.(3) 为了证明 Xₙ/Yₙ xrightarrowP a/b ,我们先证: 1/Yₙ xrightarrowP 1/b 。这是因为对任意 ε > 0 ,有
lP (| frac 1Y _ n - frac 1b | ≥slant ε) = P (| frac Y _ n - bY _ n b | ≥slant ε)= P (| frac Y _ n - bb ^ 2 + b (Y _ n - b) | ≥slant ε , | Y _ n - b | < ε) + P (| frac Y _ n - bb ^ 2 + b (Y _ n - b) | ≥slant ε , | Y _ n - b | ≥slant ε)≤slant P (frac | Y _ n - b |b ^ 2 - ε | b | ≥slant ε) + P (| Y _ n - b | ≥slant ε) = P (| Y _ n - b | ≥slant (b ^ 2 - ε | b |) ε) + P (| Y _ n - b | ≥slant ε) arrow 0 (n arrow ∞).这就证明了 1 / YₙxrightarrowP 1 / b ,再与 XₙxrightarrowP a 结合,利用(2)即得 Xₙ / YₙxrightarrowP a / b. 这就完成了全部证明. 由此定理可以看出,随机变量序列在概率意义上的极限(即依概率收敛于常数 a)在四则运算下仍然成立.这与数学分析中的数列极限十分类似.类似结论对依概率收敛于 X(随机变量)也成立(见习题 4.1 第 2 题).
4.1.2 按分布收敛、弱收敛
Section titled “4.1.2 按分布收敛、弱收敛”我们知道分布函数全面描述了随机变量的统计规律,因此讨论一个分布函数序列 {Fₙ(x)} 收敛到一个极限分布函数 F(x) 是有实际意义的.现在的问题是:如何来定义 {Fₙ(x)} 的收敛性呢?很自然地,由于 {Fₙ(x)} 是实变量函数序列,我们的一个猜想是:对所有的 x,要求 Fₙ(x) → F(x) (n → ∞) 都成立,也即数学分析中的点点收敛.然而遗憾的是,以下例子告诉我们这个要求过严了.
设随机变量序列 {Xₙ} 服从如下的退化分布
P (X _ n = frac 1n) = 1, n = 1, 2, … ,它们的分布函数分别为
F _ n (x) = { l l 0, & x < frac 1n, 1, & x ≥slant frac 1n. .首先我们指出:在点点收敛这个要求下,{Fₙ(x)} 的极限函数
g (x) = { l l 0, & x ≤slant 0, 1, & x > 0. .不满足右连续性,即 g(x) 不是一个分布函数. 这说明对分布函数序列 {Fₙ(x)} 而言,要求其点点收敛到一个极限分布函数太苛刻了.如何把点点收敛这要求减弱一些呢? 因为 Fₙ(x) 是在点 x = 1/n 处有跳跃,所以当 n→ ∞ 时,跳跃点位置趋于0,于是我们很自然地认为 {Fₙ(x)} 应该收敛于点 x = 0 处的退化分布,即
F (x) = { l l 0, & x < 0, 1, & x ≥slant 0. .但是,对任意的 n,有 Fₙ(0)=0,而 F(0)=1,所以
lim _ n → ∞ F _ n (0) = 0 ≠ 1 = F (0).从这个例子我们得到启示:收敛关系不成立的点 x=0 恰好是 F(x) 的间断点.这就启示我们,可以撇开这些间断点而只考虑 F(x) 的连续点.这就是以下给出的关于分布函数列的弱收敛定义.
设随机变量 X, X₁, X₂, … 的分布函数分别为 F(x), F₁(x), F₂(x), ….若对 F(x) 的任一连续点 x,都有
lim _ n → ∞ F _ n (x) = F (x), (4.1.2)则称 {Fₙ(x)} 弱收敛于 F(x) ,记作
F _ n (x) xrightarrow W F (x). (4.1.3)也称相应的随机变量序列 {Xₙ} 按分布收敛于X,记作
X _ n xrightarrow L X. (4.1.4)以上定义的“弱收敛”是自然的,因为它比在每一点上都收敛的要求的确“弱”了些.若 F(x) 是直线上的连续函数,则弱收敛就是点点收敛.
在上述定义中,分布函数序列 {Fₙ(x)} 称为弱收敛,而随机变量序列 {Xₙ} 则称为按分布收敛,这是在两种不同场合给出的两个不同名称,但其本质含义是一样的,都要求在 F(x) 的连续点上有(4.1.2)式. 下面的定理说明依概率收敛是一种比按分布收敛更强的收敛性.
XₙxrightarrowP X⇒ XₙxrightarrowL X.
证明
设随机变量 X, X₁, X₂, … 的分布函数分别为 F(x), F₁(x), F₂(x), ….为证 Xₙ xrightarrowL X,相当于证 Fₙ(x) xrightarrowW F(x),所以只需证: 对所有的 x,有
F (x - 0) ≤slant lim _ n arrow ∞ F _ n (x) ≤slant overline lim _ n arrow ∞ F _ n (x) ≤slant F (x + 0). (4.1.5)因为若上式成立,则当 x 是 F(x) 的连续点时,有 F(x-0)=F(x+0),由此即可得 Fₙ(x)xrightarrowWF(x) . 为证(4.1.5)式,先令 x^(prime)<x,则
r l {X ≤slant x ^ prime } & = {X _ n ≤slant x, X ≤slant x ^ prime } ∪ {X _ n > x, X ≤slant x ^ prime } & ⊂ {X _ n ≤slant x } ∪ {| X _ n - X | ≥slant x - x ^ prime },从而有
F (x ^ prime) ≤slant F _ n (x) + P (| X _ n - X | ≥slant x - x ^ prime).由 XₙxrightarrowP X ,得 P(| Xₙ - X| ≥slant x - x')→ 0(n→ ∞).所以有
F (x ^ prime) ≤slant varliminf_ n → ∞ F _ n (x).再令 x^(prime)arrow x ,即得
F (x - 0) ≤slant lim _ n → ∞ F _ n (x).同理可证,当 x'' > x 时,有
varlimsup_ n → ∞ F _ n (x) ≤slant F (x ^ prime prime).令 x'' → x ,即得
varlimsup_ n arrow ∞ F _ n (x) ≤slant F (x + 0).这就证明了定理.
以上定理的逆命题不成立,即由按分布收敛无法推出依概率收敛,见下例.
设随机变量 X 的分布列为
P (X = - 1) = frac 12, P (X = 1) = frac 12.令 Xₙ = -X ,则 Xₙ 与 X 同分布,即 Xₙ 与 X 有相同的分布函数,故 XₙxrightarrowLX. 但对任意的 0 < ε < 2 ,有
P ( | X _ n - X | ≥slant ε) = P (2 | X | ≥slant ε) = 1 not → 0,即 Xₙ 不依概率收敛于 X . 以上例子说明:一般按分布收敛与依概率收敛是不等价的。而下面的定理则说明:当极限随机变量为常数(服从退化分布)时,按分布收敛与依概率收敛是等价的。
若 c 为常数,则 Xₙ xrightarrowP c 的充要条件是: Xₙ xrightarrowL c .
证明
必要性已由定理4.1.2 给出,下证充分性.记 Xₙ 的分布函数为 Fₙ(x), n=1,2,… 因为常数 c 的分布函数 (退化分布) 为
F (x) = { l l 0, & x < c, 1, & x ≥slant c. .所以对任意的 ε > 0 ,有
r l P ( | X _ n - c | ≥slant ε) & = P ( X _ n ≥slant c + ε) + P ( X _ n ≤slant c - ε) ≤slant P ( X _ n > c + ε / 2) + P ( X _ n ≤slant c - ε) & = 1 - F _ n ( c + ε / 2) + F _ n ( c - ε).由于 x = c + ε / 2 和 x = c - ε 均为 F(x) 的连续点,且 Fₙ(x) xrightarrowW F(x) ,所以当 n → ∞ 时,有
F _ n (c + ε / 2) arrow F (c + ε / 2) = 1, F _ n (c - ε) arrow F (c - ε) = 0.由此得 即 XₙxrightarrowPc. 定理证毕.
P ( | X _ n - c | ≥slant ε) → 0.- 如果 Xₙ xrightarrowP X,且 Xₙ xrightarrowP Y.试证: P(X = Y) = 1 .
- 如果 Xₙ xrightarrowP X, Yₙ xrightarrowP Y.试证: (1) Xₙ + YₙxrightarrowP X + Y; (2) XₙYₙxrightarrowP XY.
- 如果 Xₙ xrightarrowP X, g(x) 是直线上的连续函数,试证: g(Xₙ) xrightarrowP g(X) .
- 如果 Xₙ xrightarrowP a ,则对任意常数 c ,有
- 试证: Xₙ xrightarrowP X 的充要条件为: 当 n → ∞ 时,有
- 设 D(x) 为退化分布:
试问下列分布函数列的极限函数是否仍是分布函数?(其中 n=1,2,… ) (1) {D(x + n)} ; (2) {D(x + 1 / n)} ; (3) {D(x - 1 / n)} . 7. 设分布函数列 {Fₙ(x)} 弱收敛于连续的分布函数 F(x),试证: {Fₙ(x)} 在 (- ∞, ∞) 上一致收敛于分布函数 F(x) . 8. 如果 Xₙ xrightarrowL X ,且数列 aₙ → a, bₙ → b.试证: aₙXₙ + bₙ xrightarrowL aX + b . 9. 如果 Xₙ xrightarrowL X, Yₙ xrightarrowP a ,试证: Xₙ + Yₙ xrightarrowL X + a . 10. 如果 Xₙ xrightarrowL X, Yₙ xrightarrowP 0,试证: XₙYₙ xrightarrowP 0 . 11. 如果 Xₙ xrightarrowL X, Yₙ xrightarrowP a,且 Yₙ ≠ 0,常数 a ≠ 0.试证: Xₙ / Yₙ xrightarrowL X / a . 12. 设随机变量 Xₙ 服从柯西分布,其密度函数为
p _ n (x) = frac nπ (1 + n ^ 2 x ^ 2), - ∞ < x < ∞ .试证: XₙxrightarrowP0. 13. 设随机变量序列 {Xₙ} 独立同分布,其密度函数为
p (x) = { l l 1 / β , & 0 < x < β , 0, & text 其他. .其中常数 β>0 ,令 Yₙ=max{X₁,X₂,…,Xₙ} ,试证: YₙxrightarrowPβ. 14. 设随机变量序列 {Xₙ} 独立同分布,其密度函数为
p (x) = { l l e ^ - (x - α), & x ≥slant α , 0, & x < α . .令 Yₙ=min{X₁,X₂,…,Xₙ} ,试证: YₙxrightarrowPα. 15. 设随机变量序列 {Xₙ} 独立同分布,且 Xᵢ ∼ U(0,1).令 Yₙ = (∏ᵢ=1ⁿ Xᵢ)¹/n ,试证明: Yₙ xrightarrowP c ,其中 c 为常数,并求出 c . 16. 设分布函数列 {Fₙ(x)} 弱收敛于分布函数 F(x),且 Fₙ(x) 和 F(x) 都是连续、严格单调函数,又设 ξ 服从(0,1)上的均匀分布,试证: Fₙ⁻1(ξ) xrightarrowP F⁻1(ξ) . 17. 设随机变量序列 {Xₙ} 独立同分布,数学期望、方差均存在,且 E(Xₙ) = μ.试证:
frac 2n (n + 1) ∑_ k = 1 ^ n k · X _ k xrightarrow P μ .- 设随机变量序列 {Xₙ} 独立同分布,数学期望、方差均存在,且
试证:
frac 1n ∑_ k = 1 ^ n X _ k ^ 2 xrightarrow P σ^ 2.- 设随机变量序列 {Xₙ} 独立同分布,且 operatornameVar(Xₙ) = σ² 存在,令
试证: Sₙ²xrightarrowPσ². 20. 将 n 个编号为 1 至 n 的球放入 n 个编号为 1 至 n 的盒子中,每个盒子只能放一个球,记
X _ i = { l l 1, & text 编号为 i text 的球放入编号为 i text 的盒子, 0, & text 其他, .Sₙ = ∑ᵢ=1ⁿ Xᵢ ,试证明:
frac S _ n - E (S _ n)n xrightarrow P 0.