4.3 大数定律

大数定律有多种形式，下面从最简单的伯努利大数定律说起，逐步介绍各种大数定律．

4.3.1 伯努利大数定律

记 $S_n$ 为 $n$ 重伯努利试验中事件 $A$ 出现的次数，称 $\frac{S_n}{n}$ 为事件 $A$ 出现的频率． 如果记一次试验中 $A$ 发生的概率为 $p$，则 $S_n$ 服从二项分布 $b(n,p)$ ，因此频率 $\frac{S_n}{n}$ 的数学期望与方差分别为

E (frac S _ nn) = p, Var (frac S _ nn) = frac p (1 - p)n. (4.3.1)$$E\left(\frac{S_n}{n}\right)=p,\mathrm{Var}\left(\frac{S_n}{n}\right)=\frac{p(1-p)}{n}.\text{\hspace{1em}(4.3.1)}$$

下面我们讨论 $n\to \infty$ 时，频率 $\frac{S_n}{n}$ 与概率 $p$ 的绝对偏差 $\left|\frac{S_n}{n}-p\right|$ 的极限状态． 按数学分析中的数列极限概念，若 $\{S_n\}$ 为数列，则数列 $\left\{\frac{S_n}{n}\right\}$ 的极限为 $p$ 意味着对任意的 $\epsilon >0$，当 $n$ 充分大时，绝对偏差必定会小于 $\epsilon$，即

| frac S _ nn - p | < ε .$$\left|\frac{S_n}{n}-p\right|<\epsilon .$$

然而，当 $S_n$ 为 $n$ 重伯努利试验中成功($A$出现)的次数(是一个随机变量)时，上述现象不会再现，即不能指望对任意样本点 $\omega$ （长为 $n$ 的0,1序列），频率 $S_n/n$ 对成功概率 $p$ 的绝对偏差都小于 $\epsilon$ ，即使充分小的 $\epsilon >0$ 和很大的 $n$ ，也不能指望对任意样本点 $\omega$ ，不等式

| frac S _ nn - p | ≤slant ε , ω ∈ Ω (4.3.2)$$\left|\frac{S_n}{n}-p\right|⩽\epsilon ,\omega \in \Omega \text{\hspace{1em}(4.3.2)}$$

都成立．譬如，对0<p<1有

r l & P (frac S _ nn = 1) = P (X _ 1 = 1, X _ 2 = 1, … , X _ n = 1) = p ^ n, & P (frac S _ nn = 0) = P (X _ 1 = 0, X _ 2 = 0, … , X _ n = 0) = (1 - p) ^ n.$$\begin{array}{rl}& P\left(\frac{S_n}{n}=1\right)=P(X_1=1,X_2=1,\dots ,X_n=1)=p^n,\\ & P\left(\frac{S_n}{n}=0\right)=P(X_1=0,X_2=0,\dots ,X_n=0)=(1-p{)}^n.\end{array}$$

对充分小的 $\epsilon >0$ ，不等式(4.3.2)式并不能永远成立． 不过，应该看到，当 $n$ 很大时，事件 $\{S_n/n=1\}$ 和 $\{S_n/n=0\}$ 的概率都很微小，当然希望大偏差 $\left|S_n/n-p\right|⩾\epsilon$ 的概率也很小，且随着 $n$ 增大而愈来愈小．特别希望有如下的概率陈述．

lim _ n → ∞ P (| frac S _ nn - p | ≥slant ε) = 0. (4.3.3)$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-p\right|⩾\epsilon \right)=0.\text{\hspace{1em}(4.3.3)}$$

下面的伯努利大数定律就对上述讨论作了一个很好的总结，并作出了肯定的回答．

定理 4.3.1 伯努利大数定律

设 $S_n$ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，$p$ 为每次试验中 $A$ 出现的概率，则对任意的 $\epsilon >0$，有

lim _ n arrow ∞ P (| frac S _ nn - p | < ε) = 1.$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-p\right|<\epsilon \right)=1.$$

证明

因为 $S_n\sim b(n,p)$，且 $\frac{S_n}{n}$ 的数学期望和方差如 (4.3.1) 式所示．所以由切比雪夫不等式得

1 ≥slant P (| frac S _ nn - p | < ε) ≥slant 1 - frac Var (frac S _ nn)ε^ 2 = 1 - frac p (1 - p)n ε^ 2. (4.3.4)$$1⩾P\left(\left|\frac{S_n}{n}-p\right|<\epsilon \right)⩾1-\frac{\mathrm{Var}\left(\frac{S_n}{n}\right)}{{\epsilon }^2}=1-\frac{p(1-p)}{n{\epsilon }^2}.\text{\hspace{1em}(4.3.4)}$$

当 $n\to \infty$ 时，上式右端趋于1，因此

lim _ n arrow ∞ P (| frac S _ nn - p | < ε) = 1.$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-p\right|<\epsilon \right)=1.$$

结论得证． 伯努利大数定律说明：随着 $n$ 的增大，事件 $A$ 发生的频率 $\frac{S_n}{n}$ 与其概率 $p$ 的偏差 $\left|\frac{S_n}{n}-p\right|$ 大于预先给定的精度 $\epsilon$ 的可能性愈来愈小，要多小有多小．这就是频率稳定于概率的含义． 譬如，抛一枚硬币出现正面的概率 p=0.5. 若把这枚硬币连抛 10 次，则因为 $n$ 较小，发生偏差的可能性有时会大一些，有时会小一些．若把这枚硬币连抛 10 万次，由切比雪夫不等式知:正面出现的频率与 0.5 的偏差大于预先给定的精度 $\epsilon$ (若取精度 $\epsilon =0.01$ ) 的可能性

P (| frac S _ nn - 0. 5 | > 0. 0 1) ≤slant frac 0 . 5 × 0 . 5n 0 . 0 1 ^ 2 = frac 1 0 ^ 44 n.$$P\left(\left|\frac{S_n}{n}-0.5\right|>0.01\right)⩽\frac{0.5\times 0.5}{n0.01^2}=\frac{10^4}{4n}.$$

大偏差发生的可能性小于 $1/40=2.5\%$．当 $n=10^6$ 时，大偏差发生的可能性小于 $1/400=0.25\%$．可见试验次数愈多，大偏差发生的可能性愈小． 伯努利大数定律提供了用频率来确定概率的理论依据．譬如要估计某种产品的不合格品率 $p$ ，则可从该种产品中随机抽取 $n$ 件，当 $n$ 很大时，这 $n$ 件产品中的不合格品的比例可作为不合格品率 $p$ 的估计值．

例 4.3.1 用蒙特卡罗方法计算定积分（随机投点法）

设 $0⩽f(x)⩽1$ ，求 $f(x)$ 在区间 $[0,1]$ 上的积分值

J = ∫_ 0 ^ 1 f (x) d x.$$J={\int }_0^{1}f(x)\mathrm{d}x.$$

设二维随机变量 $(X,Y)$ 服从正方形 $\{0⩽x⩽1,0⩽y⩽1\}$ 上的均匀分布，则可知 $X$ 服从[0,1]上的均匀分布， $Y$ 也服从[0,1]上的均匀分布，且 $X$ 与 $Y$ 独立．又记事件

A = {Y ≤slant f (X) },$$A=\{Y⩽f(X)\},$$

则 $A$ 的概率为

p = P (Y ≤slant f (X)) = ∫_ 0 ^ 1 ∫_ 0 ^ f (x) d y d x = ∫_ 0 ^ 1 f (x) d x = J,$$p=P(Y⩽f(X))={\int }_0^1{\int }_0^{f(x)}\mathrm{d}y\mathrm{d}x={\int }_0^{1}f(x)\mathrm{d}x=J,$$

即定积分的值 $J$ 就是事件 $A$ 的概率 $p$ (见图 4.3.1). 由伯努利大数定律，我们可以用重复试验中 $A$ 出现的频率作为 $p$ 的估计值．这种求定积分的方法也称为随机投点法，即将 $(X,Y)$ 看成是向正方形 $\{0⩽x⩽1,0⩽y⩽1\}$ 内随机投的点，用随机点落在区域 $\{y⩽f(x)\}$ 中的频率作为定积分的近似值． 下面用蒙特卡罗方法得到 $A$ 出现的频率： （1）先用计算机产生(0,1)上均匀分布的2n个随机数，组成$n$对随机数 $(x_i,y_i)$ $i=1,2,\cdots ,n$，这里 $n$ 可以很大，譬如 $n=10^4$，甚至 $n=10^5$ . （2）对 $n$ 对数据 $(x_i,y_i),i=1,2,\cdots ,n$ ，记录满足不等式 $y_i⩽f(x_i)$ 的点数 $m$； （3）以频率 $\frac{m}{n}$ 作为定积分 $J$ 的近似值，即 $J\approx \frac{m}{n}$ .

一般地，若要求计算区间 $[a,b]$ 上的定积分

J ^ prime = ∫_ a ^ b g (x) d x,$$J^{\prime }={\int }_a^{b}g(x)\mathrm{d}x,$$

作线性变换 $y=(x-a)/(b-a)$ ，即可化成[0,1]区间上的积分．进一步若 $c⩽g(x)⩽d$ ，可令

f (y) = frac 1d - c [ g (a + (b - a) y) - c ],$$f(y)=\frac{1}{d-c}[g(a+(b-a)y)-c],$$

则 $0⩽f(y)⩽1$．此时有

J ^ prime = ∫_ a ^ b g (x) d x = S _ 0 ∫_ 0 ^ 1 f (y) d y + c (b - a),$$J^{\prime }={\int }_a^{b}g(x)\mathrm{d}x=S_0{\int }_0^{1}f(y)\mathrm{d}y+c(b-a),$$

其中 $S_0=(b-a)(d-c)$．这说明以上用蒙特卡罗方法计算定积分的方法带有普遍意义．

4.3.2 常用的几个大数定律

一、大数定律的一般形式

伯努利大数定律讨论的是一个相互独立同分布的随机变量序列 $\{X_n\}$，其共同分布为二点分布 $b(1,p)$．即记

X _ i = { l l 1, & text 第 i text 次试验中事件 A text 发生, 0, & text 第 i text 次试验中事件 A text 不发生, . i = 1, 2, … , n, … ,$$X_i=\{\begin{array}{ll}1,& \text{第}i\text{次试验中事件}A\text{发生},\\ 0,& \text{第}i\text{次试验中事件}A\text{不发生},\end{array}i=1,2,\dots ,n,\dots ,$$

则 $\{X_n\}$ 是独立的二点分布随机变量序列，现考察该序列的前 $n$ 个随机变量之和 $S_n={\sum }_{i=1}^n{X}_i$ ，则

frac S _ nn = frac 1n ∑_ i = 1 ^ n X _ i, p = E g (frac 1n ∑_ i = 1 ^ n X _ i g) = frac 1n ∑_ i = 1 ^ n E (X _ i).$$\frac{S_n}{n}=\frac{1}{n}\sum _{i=1}^n{X}_i,p=E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n}\sum _{i=1}^{n}E(X_i).$$

那么伯努利大数定律的结论为:对任意的 $\epsilon >0$，有

lim _ n arrow ∞ P (| frac 1n ∑_ i = 1 ^ n X _ i - frac 1n ∑_ i = 1 ^ n E (X _ i) | < ε) = 1.$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)\right|<\epsilon \right)=1.$$

(4.3.5) 一般的大数定律都涉及一个随机变量序列 $\{X_n\}$，大数定律的结论都形如 (4.3.5) 式，为此我们给出如下定义．

定义 4.3.1

设有一随机变量序列 $\{X_n\}$ ，假如它具有形如(4.3.5)式的性质，则称该随机变量序列 $\{X_n\}$ 服从大数定律． 现在的问题是:随机变量序列 $\{X_n\}$ 在什么条件下服从大数定律?以下给出一些大数定律，它们之间的差别表现在条件上:有的是相互独立的随机变量序列，有的是相依的随机变量序列，有的是同分布的随机变量序列，有的是不同分布的随机变量序列，等等．

二、切比雪夫大数定律

利用切比雪夫不等式就可证明下面的切比雪夫大数定律．

定理 4.3.2 切比雪夫大数定律

设 $\{X_n\}$ 为一列两两不相关的随机变量序列，若每个 $X_i$ 的方差存在，且有共同的上界，即 $\mathrm{Var}(X_i)⩽c,i=1,2,\cdots$，则 $\{X_n\}$ 服从大数定律，即对任意的 $\epsilon >0$ , (4.3.5) 式成立．

证明

因为 $\{X_n\}$ 两两不相关，故

Var (frac 1n ∑_ i = 1 ^ n X _ i) = frac 1n ^ 2 ∑_ i = 1 ^ n Var (X _ i) ≤slant frac cn.$$\mathrm{Var}\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^n\mathrm{Var}(X_i)⩽\frac{c}{n}.$$

再由切比雪夫不等式得到:对任意的 $\epsilon >0$，有

P (| frac 1n ∑_ i = 1 ^ n X _ i - frac 1n ∑_ i = 1 ^ n E (X _ i) | < ε) ≥slant 1 - frac operatornameVar (frac 1n ∑_ i = 1 ^ n X _ i)ε^ 2 ≥slant 1 - frac cn ε^ 2.$$P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)\right|<\epsilon \right)⩾1-\frac{\mathrm{Var}\left(\frac{1}{n}{\sum }_{i=1}^n{X}_i\right)}{{\epsilon }^2}⩾1-\frac{c}{n{\epsilon }^2}.$$

于是当 $n\to \infty$ 时，有

lim _ n arrow ∞ P (| frac 1n ∑_ i = 1 ^ n X _ i - frac 1n ∑_ i = 1 ^ n E (X _ i) | < ε) = 1.$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)\right|<\epsilon \right)=1.$$

切比雪夫大数定律只要求 $\{X_n\}$ 互不相关，并不要求它们是同分布的．因此，我们很容易推出:如果 $\{X_n\}$ 是独立同分布的随机变量序列，且方差有限，则 $\{X_n\}$ 必定服从大数定律．伯努利大数定律是切比雪夫大数定律的特例．

例 4.3.2

设 $\{X_n\}$ 是独立同分布的随机变量序列，$E(X_n^4)<\infty$．若令 $E(X_n)=\mu$ , $\mathrm{Var}(X_n)={\sigma }^2$，考察

Y _ n = (X _ n - μ) ^ 2, n = 1, 2, … ,$$Y_n={\left(X_n-\mu \right)}^2,n=1,2,\dots ,$$

则随机变量序列 $\{Y_n\}$ 服从大数定律，即对任意的 $\epsilon >0$ ，有

lim _ n arrow ∞ P (| frac 1n ∑_ i = 1 ^ n (X _ i - μ) ^ 2 - σ^ 2 | ≥slant ε) = 0.$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{\left(X_i-\mu \right)}^2-{\sigma }^2\right|⩾\epsilon \right)=0.$$

证明

显然 $\{Y_n\}$ 是独立同分布随机变量序列，其方差

operatornameVar (Y _ n) = operatornameVar (X _ n - μ) ^ 2 = E (X _ n - μ) ^ 4 - σ^ 4.$$\mathrm{Var}\left(Y_n\right)=\mathrm{Var}{\left(X_n-\mu \right)}^2=E{\left(X_n-\mu \right)}^4-{\sigma }^4.$$

由于 $E(X_n^4)$ 存在，故 $E(X_n^3),E(X_n^2),E(X_n-\mu {)}^4$ 也都存在．由切比雪夫大数定律知

lim _ n arrow ∞ P (| frac 1n ∑_ i = 1 ^ n Y _ i - frac 1n ∑_ i = 1 ^ n E (Y _ i) | ≥slant ε) = 0.$$\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{Y}_i-\frac{1}{n}\sum _{i=1}^{n}E(Y_i)\right|⩾\epsilon \right)=0.$$

其中

frac 1n ∑_ i = 1 ^ n Y _ i = frac 1n ∑_ i = 1 ^ n (X _ i - μ) ^ 2, frac 1n ∑_ i = 1 ^ n E (Y _ i) = σ^ 2.$$\frac{1}{n}\sum _{i=1}^n{Y}_i=\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2,\frac{1}{n}\sum _{i=1}^{n}E(Y_i)={\sigma }^2.$$

故 $\{Y_n\}$ 服从大数定律．

三、马尔可夫(Markov)大数定律

意到以上大数定律的证明中，只要有

frac 1n ^ 2 Var (∑_ i = 1 ^ n X _ i)arrow 0, (4.3.6)$$\frac{1}{n^2}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)\to 0,\text{\hspace{1em}(4.3.6)}$$

则大数定律就能成立．这个条件(4.3.6)被称为马尔可夫条件．

定理 4.3.3 马尔可夫大数定律

对随机变量序列 $\{X_n\}$ ，若(4.3.6)式成立，则 $\{X_n\}$ 服从大数定律，即对任意的 $\epsilon >0$ ，(4.3.5)式成立．

证明

利用切比雪夫不等式即可证得． 马尔可夫大数定律的重要性在于:对 $\{X_n\}$ 已经没有任何同分布、独立性、不相关的假定．切比雪夫大数定律显然可由马尔可夫大数定律推出．

例 4.3.3

设 $\{X_n\}$ 为一同分布、方差存在的随机变量序列，且 $X_n$ 仅与相邻的 $X_{n-1}$ 和 $X_{n+1}$ 相关，而与其他的 $X_i$ 不相关。试问该随机变量序列 $\{X_n\}$ 是否服从大数定律？

解

$\{X_n\}$ 为相依随机变量序列，考虑其马尔可夫条件

frac 1n ^ 2 Var (∑_ i = 1 ^ n X _ i) = frac 1n ^ 2 [ ∑_ i = 1 ^ n Var (X _ i) + 2 ∑_ i = 1 ^ n - 1 Cov (X _ i, X _ i + 1) ].$$\frac{1}{n^2}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\left[\sum _{i=1}^n\mathrm{Var}(X_i)+2\sum _{i=1}^{n-1}\mathrm{Cov}(X_i,X_{i+1})\right].$$

记 $\mathrm{Var}(X_n)={\sigma }^2$ ，则 $|\mathrm{Cov}(X_i,X_j)|⩽{\sigma }^2$ ，于是有

frac 1n ^ 2 Var (∑_ i = 1 ^ n X _ i ) ≤slant frac 1n ^ 2 [ n σ^ 2 + 2 (n - 1) σ^ 2 ] arrow 0 (n arrow ∞),$$\frac{1}{n^2}\mathrm{Var}\left(\sum _{i=1}^n{X}_i\right)⩽\frac{1}{n^2}[n{\sigma }^2+2(n-1){\sigma }^2]\to 0(n\to \infty ),$$

即马尔可夫条件成立，故 $\{X_n\}$ 服从大数定律．

四、辛钦(Khinchin)大数定律

我们已经知道，一个随机变量的方差存在，则其数学期望必定存在;但反之不成立，即一个随机变量的数学期望存在，则其方差不一定存在．以上几个大数定律均假设随机变量序列 $\{X_n\}$ 的方差存在，以下的辛钦大数定律去掉了这一假设，仅设每个 $X_i$ 的数学期望存在，但同时要求 $\{X_n\}$ 为独立同分布的随机变量序列．伯努利大数定律也是辛钦大数定律的特例．

定理 4.3.4 辛钦大数定律

设 $\{X_n\}$ 为一独立同分布的随机变量序列，若 $X_i$ 的数学期望存在，则 $\{X_n\}$ 服从大数定律，即对任意的 $\epsilon >0$ ，(4.3.5)式成立．

证明

设 $\{X_n\}$ 独立同分布，且 $E(X_i)=a,i=1,2,\cdots$ 现在要证明

frac 1n ∑_ k = 1 ^ n X _ k xrightarrow P a, n → ∞ .$$\frac{1}{n}\sum _{k=1}^n{X}_k\stackrel{P}{\to }a,n\to \infty .$$

为此记

Y _ n = frac 1n ∑_ k = 1 ^ n X _ k.$$Y_n=\frac{1}{n}\sum _{k=1}^n{X}_k.$$

由定理4.1.3 又由定理4.2.6知，只需证 $Y_n\stackrel{L}{\to }a.$ 又由定理4.2.6知，只需证 ${\phi }_{Y_n}(t)\to {\mathrm{e}}^{\mathrm{i}at}$ 因为 $\{X_n\}$ 同分布，所以它们有相同的特征函数，记这个特征函数为 $\phi (t)$．又因为 ${\phi }^{\prime }(0)/i=E(X_i)=a$ ，从而 $\phi (t)$ 在 0 点展开式为

φ (t) = φ (0) + φ^ prime (0) t + o (t) = 1 + i a t + o (t).$$\phi (t)=\phi (0)+{\phi }^{\prime }(0)t+o(t)=1+\mathrm{i}at+o(t).$$

再由 $\{X_n\}$ 的独立性知 $Y_n$ 的特征函数为

φ_ _ Y _ n (t) = [ φ g (frac tn g) ] ^ n = [ 1 + i a frac tn + o g (frac 1n g) ] ^ n.$${\phi }_{{}_{Y_n}}(t)={\left[\phi \left(\frac{t}{n}\right)\right]}^n={\left[1+\mathrm{i}a\frac{t}{n}+o\left(\frac{1}{n}\right)\right]}^n.$$

对任意的 $t$ 有

lim _ n → ∞ [ φ (frac tn) ] ^ n = lim _ n → ∞ [ 1 + i a frac tn + o (frac 1n) ] ^ n = e ^ i a t.$$\underset{n\to \infty }{\lim }{\left[\phi \left(\frac{t}{n}\right)\right]}^n=\underset{n\to \infty }{\lim }{\left[1+\mathrm{i}a\frac{t}{n}+o\left(\frac{1}{n}\right)\right]}^n={\mathrm{e}}^{\mathrm{i}at}.$$

而 ${\mathrm{e}}^{\mathrm{i}at}$ 正是退化分布的特征函数，由此证得了 $Y_n\stackrel{P}{\to }a.$ 至此定理得证 辛钦大数定律提供了求随机变量数学期望 $E(X)$ 的近似值的方法: 设想对随机变量 $X$ 独立重复地观察 $n$ 次，第 $k$ 次观察值为 $X_k$，则 $X_1,X_2,\cdots ,X_n$ 应该是相互独立的，且它们的分布应该与 $X$ 的分布相同．所以，在 $E(X)$ 存在的条件下，按照辛钦大数定律，当 $n$ 足够大时，可以把平均观察值

frac 1n ∑_ i = 1 ^ n X _ i$$\frac{1}{n}\sum _{i=1}^n{X}_i$$

作为 $E(X)$ 的近似值．这种做法的一个优点是我们可以不必去管 $X$ 的分布究竟是怎样的，我们的目的只是寻求数学期望的近似值． 事实上，用观察值的平均去近似随机变量的均值在实际生活中是常用的方法．譬如，用观察到的某地区5 000个人的平均寿命作为该地区的人均寿命的近似值是合适的，这种做法的依据就是辛钦大数定律． 由辛钦大数定律我们很容易地得出:如果 $\{X_n\}$ 为一独立同分布的随机变量序列，且 $E(|X_i{|}^k)$ 存在，其中$k$为正整数，则 $\{X_n^k\}$ 服从大数定律．这个结论在数理统计中是很有用的，也就是我们可以将 $\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$ 作为 $E(X_i^k)$ 的近似值．

例 4.3.4 用蒙特卡罗方法计算定积分(平均值法

) 计算定积分

J = ∫_ 0 ^ 1 f (x) d x.$$J={\int }_0^{1}f(x)\mathrm{d}x.$$

设随机变量 $X$ 服从 $(0,1)$ 上的均匀分布，则 $Y=f(X)$ 的数学期望为

E (f (X)) = ∫_ 0 ^ 1 f (x) d x = J.$$E(f(X))={\int }_0^{1}f(x)\mathrm{d}x=J.$$

所以估计 $J$ 的值就是估计 $f(X)$ 的数学期望的值．由辛钦大数定律，可以用 $f(X)$ 的观察值的平均去估计 $f(X)$ 的数学期望的值．具体做法如下: 先用计算机产生 $n$ 个 $(0,1)$ 上均匀分布的随机数 $x_i,i=1,2,\cdots ,n$，然后对每个 $x_i$ 计算 $f(x_i)$，最后得 $J$ 的估计值为

J ≈ frac 1n ∑_ i = 1 ^ n f (x _ i).$$J\approx \frac{1}{n}\sum _{i=1}^{n}f(x_i).$$

譬如计算 ${\int }_0^1{\mathrm{e}}^{-x^2/2}/\sqrt{2\pi }\mathrm{d}x$ ，其精确值和在 $n=10^4,n=10^5$ 时的一次模拟值如下：

精确值	$n={10}^4$	$n={10}^5$
0.341 344	0.341 329	0.341 334

正如例4.3.1 中所说明的，可以通过线性变换将 $[a,b]$ 区间上的定积分化成 $[0,1]$ 区间上的定积分，所以以上计算定积分的方法带有普遍意义．

习题4.3

1. 设 $\{X_k\}$ 为独立随机变量序列，且

P (X _ k = ± sqrt ln k) = frac 12, k = 1, 2, … .$$P(X_k=\pm \sqrt{\ln k})=\frac{1}{2},k=1,2,\dots .$$

证明 $\{X_k\}$ 服从大数定律． 2. 设 $\{X_k\}$ 为独立随机变量序列，且

P (X _ k = ± 2 ^ k) = frac 12 ^ 2 k + 1, P (X _ k = 0) = 1 - frac 12 ^ 2 k, k = 1, 2, … .$$P(X_k=\pm 2^k)=\frac{1}{2^{2k+1}},P(X_k=0)=1-\frac{1}{2^{2k}},k=1,2,\dots .$$

证明 $\{X_k\}$ 服从大数定律． 3. 设 $\{X_n\}$ 为独立随机变量序列，且 $P(X_1=0)=1$

P (X _ n = ± sqrt n) = frac 1n, P (X _ n = 0) = 1 - frac 2n, n = 2, 3, … .$$P(X_n=\pm \sqrt{n})=\frac{1}{n},P(X_n=0)=1-\frac{2}{n},n=2,3,\dots .$$

证明 $\{X_n\}$ 服从大数定律． 4. 在伯努利试验中，事件 $A$ 出现的概率为 $p$，令 $X_n=\{\begin{array}{ll}1,& \text{若在第 }n\text{ 次及第 }n+1\text{ 次试验中 }A\text{ 出现},\\ 0,& \text{其他}.\end{array}$ 证明 $\{X_n\}$ 服从大数定律． 5. 设 $\{X_n\}$ 为独立的随机变量序列，且

P (X _ n = 1) = p _ n, P (X _ n = 0) = 1 - p _ n, n = 1, 2, … .$$P(X_n=1)=p_n,P(X_n=0)=1-p_n,n=1,2,\dots .$$

证明 $\{X_n\}$ 服从大数定律． 6. 设 $\{X_n\}$ 为独立同分布的随机变量序列，其共同的分布函数为

F (x) = frac 12 + frac 1π arctan frac xa, - ∞ < x < ∞ .$$F(x)=\frac{1}{2}+\frac{1}{\pi }\arctan \frac{x}{a},-\infty <x<\infty .$$

试问：辛钦大数定律对此随机变量序列是否适用？ 7. 设 $\{X_n\}$ 为独立同分布的随机变量序列，其共同分布为

P (X _ n = frac 2 ^ kk ^ 2) = frac 12 ^ k, k = 1, 2, … .$$P\left(X_n=\frac{2^k}{k^2}\right)=\frac{1}{2^k},k=1,2,\dots .$$

试问 $\{X_n\}$ 是否服从大数定律？ 8. 设 $\{X_n\}$ 为独立同分布的随机变量序列，其共同分布为

P (X _ n = k) = frac ck ^ 2 · lg^ 2 k, k = 2, 3, … .$$P(X_n=k)=\frac{c}{k^2\cdot {\lg }^{2}k},k=2,3,\dots .$$

其中

c = (∑_ k = 2 ^ ∞ frac 1k ^ 2 · lg^ 2 k) ^ - 1,$$c={\left(\sum _{k=2}^{\infty }\frac{1}{k^2\cdot {\lg }^{2}k}\right)}^{-1},$$

试问 $\{X_n\}$ 是否服从大数定律？ 9. 设 $\{X_n\}$ 为独立的随机变量序列，其中 $X_n$ 服从参数为 $\sqrt{n}$ 的泊松分布，试问 $\{X_n\}$ 是否服从大数定律? 10. 设 $\{X_n\}$ 为独立的随机变量序列，证明: 若诸 $X_n$ 的方差 ${\sigma }_n^2$ 一致有界，即存在常数 $c$，使得

σ_ n ^ 2 ≤slant c, n = 1, 2, … ,$${\sigma }_n^2⩽c,n=1,2,\dots ,$$

则 $\{X_n\}$ 服从大数定律． 11.（泊松大数定律）设 $S_n$ 为 $n$ 次独立试验中事件 $A$ 出现的次数，而事件 $A$ 在第 $i$ 次试验时出现的概率为 $p_i,i=1,2,\cdots ,n,\cdots$ ，则对任意的 $\epsilon >0$ ，有

lim _ n arrow ∞ P (| frac S _ nn - frac 1n ∑_ i = 1 ^ n p _ i | < ε) = 1.$$\underset{n\to \infty }{\lim }P\left(\left|\frac{S_n}{n}-\frac{1}{n}\sum _{i=1}^n{p}_i\right|<\epsilon \right)=1.$$

12.（伯恩斯坦(Bernstein)大数定律）设 $\{X_n\}$ 是方差一致有界的随机变量序列，且当 $|k-l|\to$ $\infty$ 时，一致地有 $\mathrm{Cov}(X_k,X_l)\to 0$ ，证明 $\{X_n\}$ 服从大数定律． 13.（格涅坚科(Gnedenko)大数定律）设 $\{X_n\}$ 是随机变量序列，若记

Y _ n = frac 1n ∑_ i = 1 ^ n X _ i, a _ n = frac 1n ∑_ i = 1 ^ n E (X _ i).$$Y_n=\frac{1}{n}\sum _{i=1}^n{X}_i,a_n=\frac{1}{n}\sum _{i=1}^{n}E(X_i).$$

则 $\{X_n\}$ 服从大数定律的充要条件是

lim _ n → ∞ E (frac (Y _ n - a _ n) ^ 21 + (Y _ n - a _ n) ^ 2) = 0.$$\underset{n\to \infty }{\lim }E\left(\frac{{\left(Y_n-a_n\right)}^2}{1+{\left(Y_n-a_n\right)}^2}\right)=0.$$

14. 设 $\{X_n\}$ 为独立同分布的随机变量序列，方差存在．又设 ${\sum }_{n=1}^{\infty }{a}_n$ 为绝对收敛级数．令 $Y_n={\sum }_{i=1}^n{X}_i$，证明 $\{a_n{Y}_n\}$ 服从大数定律．
15. 设 $\{X_n\}$ 为独立同分布的随机变量序列，方差存在，令 $Y_n={\sum }_{i=1}^n{X}_i$．又设 $\{a_n\}$ 为一列常数，如果存在常数 $c>0$，使得对一切 $n$ 有 $|n{a}_n|⩽c$，证明 $\{a_n{Y}_n\}$ 服从大数定律．
16. 设 $\{X_n\}$ 为独立同分布的随机变量序列，其方差有限，且 $X_n$ 不恒为常数．如果 $S_n={\sum }_{i=1}^n{X}_i$，试证: 随机变量序列 $\{S_n\}$ 不服从大数定律．
17. 分别用随机投点法和平均值法计算下列定积分：

J _ 1 = ∫_ 0 ^ 1 frac e ^ x - 1e - 1 d x, J _ 2 = ∫_ - 1 ^ 1 e ^ x d x.$$J_1={\int }_0^1\frac{{\mathrm{e}}^x-1}{\mathrm{e}-1}\mathrm{d}x,J_2={\int }_{-1}^1{\mathrm{e}}^x\mathrm{d}x.$$