Skip to content

7.6 非参数检验

统计学的基本问题是利用观测到的样本推断总体.在统计推断中,我们对研究的总体常常要作一些假定,最常见的假定是假定总体分布为正态,这样的假定是比较强的.由于实际的总体与假定的总体往往会有差距,那么,这种做法将可能会引起推断结果的错误.这一问题促使人们去研究在总体分布假定比较弱的前提下,如何进行统计推断.非参数检验正是这样的一个领域. 本节,我们介绍几个常用的非参数检验方法.

所有的统计推断方法常常要求数据随机取自同一个总体,有时由于种种原因,我们可能怀疑数据不符合随机选取的原则,此时需对数据进行随机性检验. 设 为依时间顺序连续得到的一组样本观测值序列. 记样本中位数为 ,把序列中小于 的那些 换成 0,大于或等于 的那些 换成 1. 这样我们就得到一个由 0 和 1 两个元素组成的序列. 我们把以 0 为界的一连串的 1 称为 1 游程,以 1 为界的一连串的 0 称为 0 游程,统称为游程. 例如序列

它有 5 个 0 游程和 4 个 1 游程. 设序列中 0 和 1 的个数分别为 ,其和为样本量 。一般来说, 都大于 0,设 表示序列的总游程数,则 的最小值是 2,最大值为 ,对于 (7.6.1) 式给出的序列, R=9. 若游程总数 的值过大(即 0 和 1 呈周期性变化的趋势), 或游程总数 的值过小(即序列的前一部分 0 占多数, 后一部分 1 占多数, 或者前一部分 1 占多数, 后一部分 0 占多数), 可以认为样本数据受到了某些非随机因素的干扰, 它不符合随机抽取的原则. 因此, 对于原假设 :样本序列符合随机抽取的原则, 该检验的拒绝域应具有形式 ,其中临界值 要根据 为真时 的分布确定。下面讨论 为真时 的分布,分 为偶数与奇数两种情况进行。 由于0游程和1游程是交替出现的,所以,当R=2k时,必有0游程和1游程个数都是;当 时,要么0游程个数是且1游程个数是 ,要么1游程个数是且0游程个数是 . 出现“ 个 0 游程”意味着 个 0 被分成 组,这相当于将 个不可分辨的球放入 个盒中且没有一个盒子是空的,依重复组合公式,共有

种可能.所以,在 R=2k 时, 个 0 游程共有 种不同方式的安排,类似地, 个 1 游程也共有 种不同方式的安排.把 0 游程和 1 游程合在一起有两种可能,一种是 0 游程在前面而 1 游程在后面,另一种则反过来,1 游程在前面而 0 游程在后面.由此可知,出现 R=2k 的情况一共有

种可能,而总的等可能结果一共有 个,从而有

类似地, 在 时, 要么有 个 0 游程和 个 1 游程, 要么有 个 0 游程和 个 1 游程. 对前一种情况, 一定是以 1 游程开始也以 1 游程收尾, 共有 种可能, 对后一种情况, 共有 种可能, 于是有

由(7.6.2)、(7.6.3)两式, 当 都不太大时, 对于给定的 , 可以计算出游程总数检验的临界值. 为方便使用, 人们编制了游程总数检验的临界值表(附表12). 应用中由(7.6.2)、(7.6.3)两式计算检验的 值则更加方便.

例 7.6.1

对某型号的 20 根电缆依次进行耐压试验, 测得数据如下:

这些数据能否认为受到非随机因素干扰?(例如测量仪器工作条件改变等的影响。)

这些观测值的中位数是

于是,将观测值小于204.6的数换成0,将大于204.6的数换成1,这样得到序列0 1 0 1 1 0 1 0 0 0 0 1 0 1 0 1 1 1 1 0 其中0与1的个数都是10, 游程总数 . 若取 , 查附表12知, , , 故其拒绝域为 , 如今 , 故可认为该批数据是随机选取的 (若取 , 结果是相同的). 我们也可以计算该检验的 值从而加以判断.为此,利用(7.6.2)和(7.6.3)式,可计算出游程 的分布,具体结果如下表:

rP(R=r)P(R≤r)rP(R=r)P(R≤r)
20.000 00.000 0110.171 90.585 9
30.000 10.000 1120.171 90.757 8
40.000 90.001 0130.114 60.872 4
50.003 50.004 5140.076 40.948 8
60.014 00.018 5150.032 70.981 5
70.032 70.051 2160.014 00.995 5
80.076 40.127 6170.003 50.999 0
90.114 60.242 2180.000 90.999 9
100.171 90.414 1190.000 11.000 0
检验的 值为

若取显著性水平 ,可认为这批数据符合随机抽取的原则。 在计算程序越来越先进的今天, 对比较大的 , 完全可以计算出 的分布, 从而给出检验的拒绝域. 在实际应用中, 当 很大时, 也可以使用渐近分布, 我们不加证明地给出如下结论: 当样本随机地取自同一总体, 都趋于无穷且 趋于常数 时, 有

都比较大时,上式中的 可用 代替,从而对给定的显著性水平 ,两个临界值可近似取为

研究表明, 当 都大于 20 时, 上式近似效果是足够好的. 游程检验还可以用于检验两个总体是否有相同分布. 设 是来自总体 的样本, 是来自总体 的样本, 将两组样本合并在一起, 按由小到大的顺序排列为 . 引入 如下: 若 是来自总体 的观察, 则 , 否则 (即 是来自总体 的观察) . 这样, 我们就得到一个由 0 与 1 两个元素组成的序列

有相同的分布时, 可以看作是从同一个总体中抽取的样本,因而,序列(7.6.4)的总游程数 将是较大的。而在 的分布不相同时,序列(7.6.4)的总游程数 将是较小的。例如,若总体 分得很开,以至于它们的样本观测值彼此不重叠时, 的值接近于 2,这时就有把握认为“两个分布不相同”。在一般场合,对于原假设 :两个总体分布相同,混合样本的游程数越小就越倾向于拒绝原假设,故检验的拒绝域应具有形式 ,其中 为临界值,它可以由(7.6.2)和(7.6.3)两式算出,当然也可以据此算出检验的 值。

符号检验是一类重要的非参数检验,它主要用来对总体 分位数 进行检验.对任一连续总体 , 其 分位数 (0 < p < 1) 是存在且唯一的, 对 的检验可参看如下例子进行.

例 7.6.2

设总体 为连续随机变量, 分布函数为 , , , , 是来自该总体的样本, 试检验假设“ 的中位数为 0”, 即检验如下假设

作符号函数

中取正数的个数. 直观上看, 在原假设成立时, 的取值不应过大也不应过小. 在 为真时, 服从二项分布 , 从而, 可确定常数 , 使

该检验的拒绝域为 .当然,这时使用检验的值进行检验将会比较简单. 上述检验问题的统计量 ,通常被称为符号统计量。一般场合, 还可用来检验总体分布 分位数,具体如下:设 是来自总体 的样本,欲检验

其中 是某个给定常数. 与上面例子一样,记

,则 可以看作是来自二点分布 的样本,从而 ,在 为真时,有

反之,若 ,则 ,从而 ,亦即 为真.所以,检验问题(7.6.5)等价于检验问题

检验问题(7.6.6)是二项分布参数的检验问题,由7.3节,该检验问题的统计量是 ,拒绝域形式为

不难看出, 就是差值

中取正号的个数. 上述统计量 亦称符号统计量. 利用符号统计量所做的检验称作符号检验. 当然,对符号检验,使用检验的 值较为简便.记 为符号统计量的观测值,则检验问题(7.6.5)的检验的 值为

其中 表示二项分布的概率函数. 类似地,关于分位数其他类型假设检验问题的解详见表7.6.1,方便起见,我们用检验的值形式列出. 表 7.6.1 三种假设下的符号检验

拒绝域形式检验的p值

例 7.6.3

以往的资料表明,某种圆钢的 90% 的产品的硬度(单位: ) 不小于 103.为了检验这个结论是否仍旧属实,现在随机挑选 20 根圆钢进行硬度试验,测得其硬度分别是

1421341199813110215412293137
8611916114415816581117128113
试检验 vs .

作差值 ,得

其中正值个数 ,检验的 值为

故拒绝 ,不能认为该种圆钢的 10% 分位数 不小于 . 符号检验除了用于分位数的假设检验问题之外,还可用于成对数据的比较.

例 7.6.4

工厂有两个化验室, 每天同时从工厂的冷却水中取样, 测量水中的含氯量(单位: )一次, 记录如下:

i (化验室 A) (化验室 B)
11.0310.03
21.851.89-0.04
30.740.9-0.16
41.821.810.01
51.141.2-0.06
61.651.7-0.05
71.921.94-0.02
81.011.11-0.1
91.121.23-0.11
100.90.97-0.07
111.41.52-0.12
问两个化验室测定的结果之间有无显著性差异? 分别记化验室 的测量误差为 . 并假设 为连续随机变量, 相应的分布函数分别为 . 本问题需要检验

显然,含氯量的测定值除了与化验室的不同有关外,还与当天的含氯量的多少有关,所以,我们可以认为 具有下列结构

其中未知参数 为第 天水中的含氯量, 为第 天的测量误差, 相 互独立,共同分布为 相互独立,共同分布为 . 不同日的两个数据 以及 不一定是同分布的,它们之间的差异不仅与测量误差有关,而且和 的差异有关,因此,它们之间缺乏可比性,很自然地,我们希望把 的影响去掉.由于 是对应的,所以,我们考虑差

显然,在 为真时, 的分布关于原点对称。此时可使用符号检验法,以 表示 中正数的个数,此处 ,故检验的 值为

若显著性水平为 ,则不能拒绝原假设。

类似于例7.6.1 的中位数检验以及例7.6.4 的成对数据比较都可以采用符号检验。但有人指出符号检验的一个不足:它只利用了观测值与中心位置之差的正负号,而没有考虑到这些差的绝对值大小。事实上,这些差的绝对值大小度量了观测值距离中心的远近,如果把两者结合起来,自然可以期望检验效果更好,对此,威尔科克森(Wilcoxon)在 1945 年建立了符号秩和检验,下面我们简单介绍有关秩检验内容。 秩检验方法是建立在秩及秩统计量基础上的非参数方法,下面我们先介绍秩的概念.

定义 7.6.1

是来自连续分布 的简单随机样本, 是其观测值的有序样本,则观测值 在有序样本中的序号 称为 的秩,记为 .

由于 是连续函数,因此, 不能唯一确定的概率为 0.

例 7.6.5

设 n=6,观测值(单位:cm) 分别为

的秩 分别是 4, 5, 2, 6, 1, 3.

定义 7.6.2

是来自连续总体的样本, 的秩,则 称为 的秩统计量。由 导出的统计量,也称为秩统计量。基于秩统计量的检验方法称为秩检验。 秩统计量最早由威尔科克森在 1945 年建立, 其背景如下: 设有一个连续总体 (可以是单一的总体, 也可以是成对数据的差) 关于某个参数 对称, 其总体分布函数记为 , 这里 就是总体的中位数, 要检验的假设为

是来自该总体的样本,前面已经指出,对此检验问题是可以采用符号检验的,只需要统计 中大于 0 的个数即可。但威尔科克森建议采用如下符号秩和统计量。

定义 7.6.3

是样本,记 中的秩,记

则称

为符号秩和统计量.用这个统计量所作的检验称为符号秩和检验. 与符号检验类似,对(7.6.7)表示的双侧检验问题,检验拒绝域为

附表 13 给出了 时满足条件 ,至于满足条件 ,它等于 .

例 7.6.6 例 7.6.4 续

例7.6.4 的资料, 利用符号秩和检验法, 检验假设

将数据列表如下

i (化验室 A) (化验室 B) 绝对值
11.0310.030.033
21.851.89-0.040.044
30.740.9-0.160.1611
41.821.810.010.011
51.141.2-0.060.066
61.651.7-0.050.055
71.921.94-0.020.022
81.011.11-0.10.18
91.121.23-0.110.119
100.90.97-0.070.077
111.41.52-0.120.1210
于是 . 若取 , 查附表 13, 得 , , 所以, 拒绝域为 , 此处观测值为 , 因此, 拒绝原假设. 这与符号检验结论不一致. 事实上, 此处即使取显著性水平为 0.01, 查附表 13, 得 , 仍然拒绝原假设. 本例中符号秩和检验与符号检验结论不同,其原因在于符号检验只使用了样本观测值的正负号信息,在这11个观测值中,虽然正的个数很少,只有2个,但还没有少到我们能够据之作出拒绝原假设的程度.而符号秩和检验不仅注意到11个观测值中正的个数很少,而且还关注如下事实:2个正的其绝对值也很小,在11个观测值的绝对值中排在第1和第3小的位置,由此,符号秩和检验就可以作出拒绝原假设的结论.通常认为,符号秩和检验比符号检验在此类场合更加有效. 关于符号秩和检验有以下几点说明: (1)当总体分布为连续型时,样本 中以概率 1 不会有相同的,但在处理实际数据时,仍会碰到有相同的情况,比如 11, 12, 12, 15 四个观测值,习惯上称相同的几个变量值为一个“结”,这里“12”就是一个结,结外的秩是唯一的,结内的秩通常取这些相继秩数的算术平均值作为各个变量的秩。这样规定后,11, 12, 12, 15 四个观测值的秩就确定了,它们依次是 1, 2.5, 2.5, 4。 (2)我们这里以双侧检验为例给出了秩和检验,对两对单侧检验问题,处理是完全类似的,只是拒绝域为单侧而已. (3) 可以证明在 成立时, 有

因此, 当 n>50 时可采用正态近似 计算检验临界值. 秩和检验是最常用的非参数检验方法,它的另一重要情形是:可用来对两个总体的位置进行比较.如比较两种工艺有无差别,比较某种方法有无效果等.一般提法如下:设有两个总体,其分布类型假定是一致的,但分布的中心位置可能不同.设一个总体的分布函数为 为来自该总体的样本,另一个总体的分布函数为 为其样本,人们经常需要比较 的大小,如检验如下假设:

正如前面多次提及,对上述三个检验问题,检验统计量是相同的,只是拒绝域不同.对此类检验问题,威尔科克森建立如下的秩和检验:将 个观测值一起排序,产生对应的秩

检验统计量定义为

此即 在混合样本中的秩的和,通常称为威尔科克森秩和统计量. 对(7.6.8)表示的检验问题 , 直观上看, 当备择假设 为真时, 的值应偏小, 所以, 拒绝域为

临界值 可查附表 14 得到. 类似地, 检验问题 II, III 的拒绝域分别为

例 7.6.7

对某种羊绒可利用先进的工艺处理其含脂率,为比较处理效果,特收集了 6 组处理前的羊绒和 5 组处理后的羊绒,测得其含脂率数据如下:

处理前0.200.240.660.420.120.25
处理后0.130.070.210.080.19
试问处理后的含脂率是否明显下降了?

可以合理假定羊绒的含脂率在处理前后分布类型是一致的,设处理前后的含脂率分布的中心位置分别为 , 则要检验的假设为

为完成检验,将两组样本混合后,从大到小排序,求出相应的秩如下表:

混合样本处理后√
0.071
0.082
0.123
0.134
0.195
0.206
0.217
0.248
0.259
0.4210
0.6611
W=1+2+4+5+7=19
此处 ,若取 ,查附表14知 ,从而拒绝域为 . 此处检验统计量值为19,所以应拒绝原假设,即认为处理后的含脂率下降了. 关于秩和检验有如下几点说明: (1) 与符号秩和检验的第 1 点说明一样, 若数据中有结, 则取平均秩. (2) 若记 分别为两组样本 在混合样本中的秩和,则

是一个常数.因此,在使用秩和检验法时,用 与用 作为检验的统计量是等价的.为编表方便,不失一般性,假定 .此假定的含义是指使用观测值个数少的那组观测值对应的秩和作为检验统计量,在例7.6.7中,处理前的观测值是6个,处理后的观测值是5个,故采用处理后的羊绒含脂率对应的秩和作为检验统计量.反之,如果处理前的观测值是5个而处理后的观测值是6个的话,就应采用处理前的羊绒含脂率对应的秩和作为检验统计量. (3)可以证明 的分布关于 是对称的,因此附表14仅给出了满足条件 的临界值 ,如果需要满足条件 的临界值 ,它等于 . (4) 还可以证明

因此,在样本容量较大时,可以用大样本近似公式

研究表明,在 , 都大于等于 20 时,这个近似效果已经很好.

习题7.6

说明:除非特别指出,以下检验的显著性水平均取为 .

  1. 在某保险种类中,一次关于 2008 年的索赔数额(单位:元)的随机抽样为(按升序排列): 4 632 4 728 5 052 5 064 5 484 6 972 7 596 9 480 14 760 15 012 18 720 21 240 22 836 52 788 67 200 已知2007年的索赔数额的中位数为5063元.2008年索赔的中位数比前一年是否有所变化?请用双侧符号检验方法检验,求检验的 值,并写出结论.
  2. 1984 年一些国家每平方千米可开发水资源数据(单位:万度/年)如下表所示:
    国家每平方千米可开发水资源国家每平方千米可开发水资源
    苏联4.9印度8.5
    巴西4.1哥伦比亚26.3
    美国7.5日本34.9
    加拿大5.4阿根廷6.9
    扎伊尔28.1印度尼西亚7.9
    墨西哥4.9瑞士78.0
    瑞典22.3罗马尼亚10.1
    意大利16.8西德8.8
    奥地利58.6英国1.7
    南斯拉夫24.8法国11.5
    挪威37.4西班牙13.4
    而当年中国的该项指标为 20 万度/年,请用符号检验方法检验:这 22 个国家每平方千米可开发的水 资源的中位数不高于中国. 求检验的 值, 并写出结论.
  3. 下面是亚洲十个国家 1996 年的每 1000 个新生儿中的死亡数(按从小到大的次序排列): 日本 以色列 韩国 斯里兰卡 中国 叙利亚 伊朗 印度 孟加拉国 巴基斯坦 4 6 9 15 23 31 36 65 77 88 以 表示 1996 年亚洲国家中 1000 个新生儿中的死亡数的中位数,试检验: vs . 求检验的 值,并写出结论.
  4. 某烟厂称其生产的每支香烟的尼古丁含量在 12 mg 以下. 实验室测定的该烟厂的 12 支香烟的尼古丁含量 (单位: mg) 分别为
    16.717.714.111.413.410.5
    13.611.612.012.611.713.7
    该烟厂所说的尼古丁含量是否比实际要少?求检验的 值,并写出结论. 5.9 名学生到英语培训班学习,培训前后各进行了一次水平测验,成绩为
    学生编号i123456789
    入学前成绩 767170574969652659
    入学后成绩 818570525263833362
    -5-1405-36-18-7-3
    (1) 假设测验成绩服从正态分布,问学生的培训效果是否显著? (2) 不假定总体分布,采用符号检验方法检验学生的培训效果是否显著; (3) 采用符号秩和检验方法检验学生的培训效果是否显著. 三种检验方法结论相同吗?
  5. 为了比较用来做鞋子后跟的两种材料的质量,选取了15个男子(他们的生活条件各不相同),每人穿着一双新鞋,其中一只是以材料做后跟,另一只以材料做后跟,其厚度均为10 mm,过了一个月再测量厚度,得到数据如下:
    序号123456789101112131415
    材料A6.67.08.38.25.29.37.98.57.87.56.18.96.19.49.1
    材料B7.45.48.88.06.89.16.37.57.06.54.47.74.29.49.1
    问是否可以认定以材料 制成的后跟比材料 的耐穿? (1) 设 来自正态总体,结论是什么? (2) 采用符号秩和检验方法检验, 结论是什么?
  6. 某饮料商用两种不同配方推出了两种新的饮料, 现抽取了 10 位消费者, 让他们分别品尝两种饮料并加以评分, 从不喜欢到喜欢, 评分为 1~10, 评分结果如下:
    品尝者12345678910
    A饮料10868751397
    B饮料6522464598
    问两种饮料评分是否有显著差异? (1) 采用符号检验方法作检验; (2) 采用符号秩和检验方法作检验.
  7. 测试在有精神压力和没有精神压力时血压的差别,10个志愿者进行了相应的试验.结果为(单位:mmHg):
    无精神压力107108122119116118121111114108
    有精神压力127119123113125132121131116124
    该数据是否表明有精神压力下的血压有所增加?