4.3 大数定律
大数定律有多种形式,下面从最简单的伯努利大数定律说起,逐步介绍各种大数定律.
4.3.1 伯努利大数定律
Section titled “4.3.1 伯努利大数定律”记 为 重伯努利试验中事件 出现的次数,称 为事件 出现的频率. 如果记一次试验中 发生的概率为 ,则 服从二项分布 ,因此频率 的数学期望与方差分别为
下面我们讨论 时, 频率 与概率 的绝对偏差 的极限状态. 按数学分析中的数列极限概念, 若 为数列, 则数列 的极限为 意味着对任意的 , 当 充分大时, 绝对偏差必定会小于 , 即
然而,当 为 重伯努利试验中成功(出现)的次数(是一个随机变量)时,上述现象不会再现,即不能指望对任意样本点 (长为 的0,1序列),频率 对成功概率 的绝对偏差都小于 ,即使充分小的 和很大的 ,也不能指望对任意样本点 ,不等式
都成立.譬如,对0<p<1有
对充分小的 ,不等式(4.3.2)式并不能永远成立. 不过,应该看到,当 很大时,事件 和 的概率都很微小,当然希望大偏差 的概率也很小,且随着 增大而愈来愈小.特别希望有如下的概率陈述.
下面的伯努利大数定律就对上述讨论作了一个很好的总结,并作出了肯定的回答.
设 为 重伯努利试验中事件 发生的次数, 为每次试验中 出现的概率, 则对任意的 , 有
证明
因为 , 且 的数学期望和方差如 (4.3.1) 式所示. 所以由切比雪夫不等式得
当 时,上式右端趋于1,因此
结论得证. 伯努利大数定律说明:随着 的增大,事件 发生的频率 与其概率 的偏差 大于预先给定的精度 的可能性愈来愈小,要多小有多小.这就是频率稳定于概率的含义. 譬如,抛一枚硬币出现正面的概率 p=0.5. 若把这枚硬币连抛 10 次,则因为 较小,发生偏差的可能性有时会大一些,有时会小一些. 若把这枚硬币连抛 10 万次,由切比雪夫不等式知:正面出现的频率与 0.5 的偏差大于预先给定的精度 (若取精度 ) 的可能性
大偏差发生的可能性小于 . 当 时, 大偏差发生的可能性小于 . 可见试验次数愈多, 大偏差发生的可能性愈小. 伯努利大数定律提供了用频率来确定概率的理论依据.譬如要估计某种产品的不合格品率 ,则可从该种产品中随机抽取 件,当 很大时,这 件产品中的不合格品的比例可作为不合格品率 的估计值.
设 ,求 在区间 上的积分值
设二维随机变量 服从正方形 上的均匀分布,则可知 服从[0,1]上的均匀分布, 也服从[0,1]上的均匀分布,且 与 独立.又记事件
则 的概率为
即定积分的值 就是事件 的概率 (见图 4.3.1). 由伯努利大数定律, 我们可以用重复试验中 出现的频率作为 的估计值. 这种求定积分的方法也称为随机投点法, 即将 看成是向正方形 内随机投的点, 用随机点落在区域 中的频率作为定积分的近似值. 下面用蒙特卡罗方法得到 出现的频率: (1)先用计算机产生(0,1)上均匀分布的2n个随机数,组成对随机数 , 这里 可以很大, 譬如 , 甚至 . (2)对 对数据 ,记录满足不等式 的点数 ; (3)以频率 作为定积分 的近似值,即 .
一般地, 若要求计算区间 上的定积分
作线性变换 ,即可化成[0,1]区间上的积分.进一步若 ,可令
则 . 此时有
其中 . 这说明以上用蒙特卡罗方法计算定积分的方法带有普遍意义.
4.3.2 常用的几个大数定律
Section titled “4.3.2 常用的几个大数定律”一、大数定律的一般形式
Section titled “一、大数定律的一般形式”伯努利大数定律讨论的是一个相互独立同分布的随机变量序列 , 其共同分布为二点分布 . 即记
则 是独立的二点分布随机变量序列,现考察该序列的前 个随机变量之和 ,则
那么伯努利大数定律的结论为:对任意的 ,有
(4.3.5) 一般的大数定律都涉及一个随机变量序列 , 大数定律的结论都形如 (4.3.5) 式, 为此我们给出如下定义.
设有一随机变量序列 ,假如它具有形如(4.3.5)式的性质,则称该随机变量序列 服从大数定律. 现在的问题是:随机变量序列 在什么条件下服从大数定律?以下给出一些大数定律,它们之间的差别表现在条件上:有的是相互独立的随机变量序列,有的是相依的随机变量序列,有的是同分布的随机变量序列,有的是不同分布的随机变量序列,等等.
二、切比雪夫大数定律
Section titled “二、切比雪夫大数定律”利用切比雪夫不等式就可证明下面的切比雪夫大数定律.
设 为一列两两不相关的随机变量序列, 若每个 的方差存在, 且有共同的上界, 即 , 则 服从大数定律, 即对任意的 , (4.3.5) 式成立.
证明
因为 两两不相关, 故
再由切比雪夫不等式得到:对任意的 ,有
于是当 时,有
切比雪夫大数定律只要求 互不相关,并不要求它们是同分布的.因此,我们很容易推出:如果 是独立同分布的随机变量序列,且方差有限,则 必定服从大数定律.伯努利大数定律是切比雪夫大数定律的特例.
设 是独立同分布的随机变量序列, . 若令 , , 考察
则随机变量序列 服从大数定律,即对任意的 ,有
证明
显然 是独立同分布随机变量序列, 其方差
由于 存在,故 也都存在.由切比雪夫大数定律知
其中
故 服从大数定律.
三、马尔可夫(Markov)大数定律
Section titled “三、马尔可夫(Markov)大数定律”意到以上大数定律的证明中,只要有
则大数定律就能成立.这个条件(4.3.6)被称为马尔可夫条件.
对随机变量序列 ,若(4.3.6)式成立,则 服从大数定律,即对任意的 ,(4.3.5)式成立.
证明
利用切比雪夫不等式即可证得. 马尔可夫大数定律的重要性在于:对 已经没有任何同分布、独立性、不相关的假定.切比雪夫大数定律显然可由马尔可夫大数定律推出.
设 为一同分布、方差存在的随机变量序列,且 仅与相邻的 和 相关,而与其他的 不相关。试问该随机变量序列 是否服从大数定律?
解
为相依随机变量序列,考虑其马尔可夫条件
记 ,则 ,于是有
即马尔可夫条件成立,故 服从大数定律.
四、辛钦(Khinchin)大数定律
Section titled “四、辛钦(Khinchin)大数定律”我们已经知道,一个随机变量的方差存在,则其数学期望必定存在;但反之不成立,即一个随机变量的数学期望存在,则其方差不一定存在.以上几个大数定律均假设随机变量序列 的方差存在,以下的辛钦大数定律去掉了这一假设,仅设每个 的数学期望存在,但同时要求 为独立同分布的随机变量序列.伯努利大数定律也是辛钦大数定律的特例.
设 为一独立同分布的随机变量序列,若 的数学期望存在,则 服从大数定律,即对任意的 ,(4.3.5)式成立.
证明
设 独立同分布,且 现在要证明
为此记
由定理4.1.3 又由定理4.2.6知,只需证 又由定理4.2.6知,只需证 因为 同分布,所以它们有相同的特征函数,记这个特征函数为 . 又因为 ,从而 在 0 点展开式为
再由 的独立性知 的特征函数为
对任意的 有
而 正是退化分布的特征函数,由此证得了 至此定理得证 辛钦大数定律提供了求随机变量数学期望 的近似值的方法: 设想对随机变量 独立重复地观察 次, 第 次观察值为 , 则 应该是相互独立的, 且它们的分布应该与 的分布相同. 所以, 在 存在的条件下, 按照辛钦大数定律, 当 足够大时, 可以把平均观察值
作为 的近似值. 这种做法的一个优点是我们可以不必去管 的分布究竟是怎样的, 我们的目的只是寻求数学期望的近似值. 事实上,用观察值的平均去近似随机变量的均值在实际生活中是常用的方法.譬如,用观察到的某地区5 000个人的平均寿命作为该地区的人均寿命的近似值是合适的,这种做法的依据就是辛钦大数定律. 由辛钦大数定律我们很容易地得出:如果 为一独立同分布的随机变量序列,且 存在,其中为正整数,则 服从大数定律.这个结论在数理统计中是很有用的,也就是我们可以将 作为 的近似值.
) 计算定积分
设随机变量 服从 上的均匀分布, 则 的数学期望为
所以估计 的值就是估计 的数学期望的值. 由辛钦大数定律, 可以用 的观察值的平均去估计 的数学期望的值. 具体做法如下: 先用计算机产生 个 上均匀分布的随机数 , 然后对每个 计算 , 最后得 的估计值为
譬如计算 ,其精确值和在 时的一次模拟值如下:
| 精确值 | ||
| 0.341 344 | 0.341 329 | 0.341 334 |
- 设 为独立随机变量序列,且
证明 服从大数定律. 2. 设 为独立随机变量序列,且
证明 服从大数定律. 3. 设 为独立随机变量序列,且
证明 服从大数定律. 4. 在伯努利试验中, 事件 出现的概率为 , 令 证明 服从大数定律. 5. 设 为独立的随机变量序列, 且
证明 服从大数定律. 6. 设 为独立同分布的随机变量序列, 其共同的分布函数为
试问:辛钦大数定律对此随机变量序列是否适用? 7. 设 为独立同分布的随机变量序列, 其共同分布为
试问 是否服从大数定律? 8. 设 为独立同分布的随机变量序列, 其共同分布为
其中
试问 是否服从大数定律? 9. 设 为独立的随机变量序列, 其中 服从参数为 的泊松分布, 试问 是否服从大数定律? 10. 设 为独立的随机变量序列, 证明: 若诸 的方差 一致有界, 即存在常数 , 使得
则 服从大数定律. 11.(泊松大数定律)设 为 次独立试验中事件 出现的次数,而事件 在第 次试验时出现的概率为 ,则对任意的 ,有
12.(伯恩斯坦(Bernstein)大数定律)设 是方差一致有界的随机变量序列,且当 时,一致地有 ,证明 服从大数定律. 13.(格涅坚科(Gnedenko)大数定律)设 是随机变量序列,若记
则 服从大数定律的充要条件是
- 设 为独立同分布的随机变量序列, 方差存在. 又设 为绝对收敛级数. 令 , 证明 服从大数定律.
- 设 为独立同分布的随机变量序列, 方差存在, 令 . 又设 为一列常数, 如果存在常数 , 使得对一切 有 , 证明 服从大数定律.
- 设 为独立同分布的随机变量序列, 其方差有限, 且 不恒为常数. 如果 , 试证: 随机变量序列 不服从大数定律.
- 分别用随机投点法和平均值法计算下列定积分:
书籍模块索引
概率论与数理统计教程(第三版) · 章节内联关系图谱
核心知识枢纽章节
被全书其他章节引用频次最高的基石章节:
图谱交互提示
- 视角放大/缩小:使用左下角工具栏 +/- 或鼠标滚轮;
- 大书防混淆:顶部选择“按篇章/大章聚合”或“聚焦当前章”;
- 视图平移与拖拽:拖动画布或节点;双击节点直达原文。