1.4 正态分布的数字特征
随机变量的正态分布及其概率密度中的两个基本参数是均值μ和方差σ2,分别表示正态分布的中心位置和正态分布概率密度的形状,或者说表示测量值的集中趋势和其离散程度。确定了测量结果的μ和σ2,就可以了解总体分布并估计测量值落在某一区间的概率。因此,在分析测试中可以用μ和σ2来描述随机变量分布的特征。
在实际测试中,只是对样本进行有限次的测量,不能得到μ和σ2。以下将讨论如何用样本均值和样本方差s2来合理估计总体均值μ和总体方差σ2。
1.4.1 数据集中位置的特征数
(1)平均值 设对同一量进行n次独立测量,测量值分别为x1、x2、…、xn,测量中无系统误差,则各随机误差可分别表示为:
……
由此,
由随机误差的抵偿性,当测量次数n无限增多时,δi→0,则
(1-16)
式(1-16)表明,在消除系统误差后,多次测量的平均值趋向于被测量的真值,是其真值的无偏估计,这就是平均值的原理。
从正态分布图形可以看出,正态分布的密度函数曲线对于μ是对称的,各测定值对μ的偏差有正有负,而正、负偏差出现的机会相等,当计算算术平均值后,一部分正、负误差相抵消,因此用算术平均值x来估计μ值,其偏差最小,是最可信赖的值。
另外从测量值的概率分布也可导出平均值的最佳估计值。设一组等精度的测量(x1、x2、…、xn)服从正态分布,则xi出现的概率为:
由于它们是独立测量所得的值,这些测量值同时出现的概率为:
从统计学观点看,一组数据的最佳估计值μ应该是x出现概率最大的值。为使P最大,应当使指数项为最小,即
展开得:
(1-17)
由此,一组数据的算术平均值是总体均值μ的无偏估计值。所谓无偏估计,是表示计算的算术平均值消除了测量的随机误差(但不是全部),其的残差平方和最小,与总体均值μ十分接近(但不是没有偏离,而是偏离最小)。
计算算术平均值时,以下几种变换方式对计算是有用的:
①若对xi作变换,yi=xi+c,其中c是常数,
则:
②若对xi作变换,yi=cxi,其中c是不为零的常数,
则:
③若对xi作变换,,其中a、b是不为零的常数,
则:
(2)加权平均值 在实际测量中,不可能都在同一条件下进行多次重复测量,或采用不同分析方法进行测量,或在实验室间采用不同(或相同)分析方法测量,各测量结果的精密度亦不可能一致。对这种不等精度的测量,在计算最终测量结果时,要考虑测量精密度对测量结果的影响。
在不等精度的测量中,由于精密度高的测量数据更为可靠,而精密度差的数据可靠性相对较差,在计算时将精密度高的数据赋予较大的支配权,而精密度差的数据减小它的影响力,加权平均值是被测量的最佳估计值,它满足最小二乘法原理。
设m组测量结果各自的平均值分别为、、…、;测量次数分别为n1、n2、…、nm;测量标准差分别为s1、s2、…sm、。令wi为i测量结果的权,,则最终测量结果的加权平均值为:
(1-18)
加权平均值的标准差为:
(1-19)
加权平均值具有以下特征:
①在不等精度测量中,加权平均值是出现概率最大的值。
②在不等精度测量中,加权平均值是总体均值μ的无偏估计。而在等精度测量中各测量值的权相同,w1=w2=…=wm,则加权平均值等于算术平均值。等精度测量只是不等精度测量的一种特例。
③在实际测试工作中,同一人在重复性条件下进行多次测量,可以看作是等精度测量。不同实验室在再现性条件下进行测量,属于不等精度测量,可采用加权平均值报告测量结果。
但是,如果再现性条件下各测量结果的精密度在统计上没有显示有显著性差异,可认为是等精度测量,通常还是以算术平均值计算其测量结果。
【例1-3】 某实验室分别用ICP-AES、AAS和光度法测定某低合金钢中的镍含量,分别各进行15次、10次、8次测量,测量结果分别为0.885%、0.877%和0.891%,其标准差分别为0.008%、0.021%和0.010%,计算镍含量的测量值。
解 由于各测量方法对镍的测量是不等精度的,以其测量精度的方差为权进行计算,于是
如果直接计算三个方法镍含量的算术平均值,则=0.884%。在加权平均值中考虑了分析结果精密度的因素,对分析结果精密度高的值,给予较大的权,其计算结果更倾向于精密度高的测量结果。
注:计算时,先对三组测量结果用柯克伦法检验其精密度一致性(见第2章2.3.5.1)。
(3) 中位值M 当一组测量值不服从正态分布或只是近似正态分布时(存在偏峰或双峰,对偏态分布或分布末端无确定数据资料情况,或测量数据分布情况不明),可用中位值来表示测量的最佳估计值。中位值又称中位数。
将一组测量值按由小到大的顺序排列,当测量数是奇数时,位于中间位置的测量值为中位值,当测量数是偶数时,位于中间相邻两位置测量值的平均值为中位值。
中位值估计不受特别大或特别小的值的影响,只受居中测量值波动的影响。当测量值波动大时,中位值是比平均值更稳健的统计量。例如,工资的抽样调查,人群的工资分布往往是不对称分布,低工资和较低工资的人群较集中,高工资人群虽少但工资高,区间跨度很大,通常用中位值来表示工资的集中趋势,可认为有一半人群的工资低于中位值工资。而当用平均值表示时,将有一半多人的工资达不到平均工资。又如表1-1中分析者E的试验数据,由于其极大值(1.91%)偏离其他数据的分布,用中位值(1.82%)表示均值比用其平均值(1.83%)更能恰当地反映数据的集中趋势。医学上的体征指标、传染病的潜伏期等常用中位值表示其集中趋势。实验室间能力验证的数据处理中,为避免极端值对统计结果的影响,多采用以中位值表征测量结果集中趋势,以标准化四分位距表征分散性的稳健统计方法。
对于遵循正态分布(对称分布)的测试数据,中位值与算术平均值是十分接近的。而数据分布偏峰愈严重,则其算术平均值和中位值相差愈大。
另外,对于一组测量值,还有用众数、均方根平均值、几何平均值、调和平均数来表示一组数据集中位置的特征数,但在分析测试中不常用。
(4)众数M0 在总体分布中,出现频数最大的测量值,称为众数。在直方图中,有时可能出现一个以上的众数。
(5)均方根平均值u
(1-20)
(6)几何平均值G
(1-21)
(7)调和平均值H
(1-22)
按数理统计理论,由于受随机误差的影响,分析测量结果一般服从(或近似服从)正态分布,其算术平均值是测量结果的最佳估计值。
1.4.2 数据离散度的特征数
测量结果的离散度与其测量条件密切相关。在分析测试中通常用重复性和再现性来表示不同条件下的测量结果的精密度。
重复性和再现性是表征在两种极端条件下测量结果的精密度。当然,很多测试是在这两种实验条件的中间条件下进行的,当表达精密度时应说明其测试的测量条件。通常将重复性和再现性表示为实验室内精密度和实验室间精密度。
分析测试中精密度通常用以下几种统计量表示:
(1)平均偏差和相对平均偏差 用同一方法对同一样品进行n次测定,测量值分别为x1、x2、…、xn,测量值的平均值为,则平均偏差表示为各测量值与平均值偏差di的绝对值的平均值:
(1-23)
某个测量值的偏差有正负号,但平均偏差不计正负号。用平均偏差表示精密度的方法简单,但对大误差的出现不敏感,数据处理中很少应用。
(2)标准差(标准偏差)和相对标准差 标准差可以用多种方法计算,分析测试中最常用的是贝塞尔计算法。
①贝塞尔(Bessel)法。在正态分布情况下,总体的标准差表示为:
(1-24)
式中,μ是被测量的真值,由于一般μ未知,无法求得总体标准差。
实际测量中测量次数是有限的,通常用样本单次测量的标准偏差s表示σ的估计量。
设x1、x2、…、xn是总体x的样本,则样本的标准差s可表示为:
(1-25)
与此相对应的样本方差为:
(1-26)
可以证明,s2是总体方差σ2的无偏估计量。在σ2的无偏估计量中,s2是最佳估计值。
将式(1-25)分子的平方项展开,可得
于是
(1-27)
式(1-25)和式(1-27)通常称为计算标准差的贝塞尔公式。
为了计算上的方便,经变换式(1-27)也可表示为:
(1-28)
【例1-4】 分析某保护渣中的二氧化硅,5次测量结果分别为31.2%、31.4%、31.9%、31.5%和31.6%,计算测量结果的标准差。
解 计算得=31.5%,设a=31.5%,测量结果分别变换成-0.3%、-0.1%、0.4%、0.0%和0.1%,用变换公式(1-28)计算:
表1-6给出了随机变量x的总体特征量和样本估计量。
表1-6 随机变量的总体特征量和样本估计量
②合并样本标准差。为提高测量的可靠性,有时对同一样品同时进行多组测量,计算合并样本标准差。
设m个分析人员或实验室对同一样品进行m组测量,其结果分别为:
x11、x12、…、x1n1,单次测量标准差s1,测量次数n1,平均值;
x21、x22、…、x2n2,单次测量标准差s2,测量次数n2,平均值;
……
xm1、xm2、…、xmnm,单次测量标准差sm,测量次数nm,平均值。
则合并样本标准差:
(1-29)
其自由度为
当每一组测量次数ni均为n时,
(1-30)
其自由度ν=m(n-1)。需注意的是,各测量列的标准差si不应有显著性差异(在统计上可以用柯克伦法检验各si的一致性)。
可以估计到,计算的合并样本标准差在样本的最小标准差和最大标准差之间。
合并样本标准差的计算实质上同属于贝塞尔法。
合并样本标准差可以统计一个实验室数个分析人员的测试精密度,也可以统计多个实验室的测试精密度,或利用实验室历次在重复性条件下的测量数据的测试精密度。在分析方法精密度协同试验中采用合并样本标准差计算实验室内的重复性标准差。
【例1-5】 有五个实验室用ICP-AES法分析同一钢样中的镍,每个实验室独立分析五次,测量结果见表1-7,计算测量结果的标准差。
表1-7 各实验室测量钢中镍的结果
解 首先求各实验室测量的平均值和标准差si,一并列于表1-7,又各实验室测量次数相同,n=5,计算合并样本标准差:
图1-7 平均值标准差与测量次数n的关系
③平均值的标准差。对于一组等精度的测量,其平均值为:
单次测量的标准差为σ,根据误差的传播定律:
在有限次测量情况下,以表示样本平均值的标准差,则
(1-31)
表1-8列出了不同测量次数的单次测量标准差与平均值标准差的关系。数据表明,虽然不同次数(n)测量得到的平均值()和标准差(s)都相同,而且测量结果的极差(R)也随测量次数增加而增加,但平均值的标准差()却随之减小,测量的可靠性增加。计算表明,单次测量标准差不变时,平均值标准差与测量次数成反比。随着测量次数的增加,一部分正、负随机误差相抵消,平均值的标准差减小,见图1-7。但是,当测量次数n>5时,平均值标准差减小较慢;n>10时,减小很慢。因此,不能仅用增加测量次数(同时增加测量成本)来提高测量精度,而应辅以其他的改进措施。当n→∞,→0时,表示无数次测量的随机误差趋于零。
表1-8 单次测量标准差与平均值标准差的关系实例
在测量不确定度评定中,以平均值的标准差表示测量重复性的不确定度分量。
从n个测量结果中取其中m个测量值,其平均值为,其平均值的标准差为:
(1-32)
标准差还可以用以下几种方法进行近似计算。
④极差法。在重复性条件下,用测量结果的极差R(xmax-xmin)计算单次测量的标准差:
(1-33)
极差法的极差系数C和自由度ν见表1-9。在n<25条件下,C≈。由于极差法计算时只用到两个极值,可靠性不及贝塞尔法,通常在n=4~9时使用。
表1-9 极差系数C及自由度ν
根据例1-4的测量数据,C=2.33,计算得。
⑤最大偏差法。在重复性条件下对同一样品进行n次测定,计算其平均值,计算最大偏差的绝对值,则单次测定的标准差可由下式计算:
(1-34)
式中,1/k'n是与测量次数有关的因素,见表1-10。
表1-10 最大偏差法因素
由例1-4测量数据,平均值=31.5,最大值31.9,最大偏差=31.5-31.9=0.4,n=5,1/k'n=0.74,得s=0.4×0.74=0.30。
极差法和最大偏差法的计算比贝塞尔法方便,不用对诸多数据平方和开方。但是贝塞尔法利用了所有测量数据的信息,而且对测量值中较大的误差比较敏感,计算的标准差的可靠性高。
⑥彼得斯(Peters)法。彼得斯法用各测量值偏差绝对值之和计算标准差:
(1-35)
彼得斯计算法中反映了各测量值xi的信息,计算值有较高的可信度。
由例1-4,按彼得斯法计算得:
于是
此外,在众多测量数据的计算中,为消除极端值对统计结果的影响,可采用稳健统计方法,例如,用中位值、切尾平均值、文瑟平均值来表征测量数据的集中趋势,用标准化四分位距、中位绝对偏差法表征测量数据的分散性。关于稳健统计方法详见第7章相关内容。
⑦相对标准差。以标准差的相对百分数表示,称相对标准差,通常用RSD表示:
(1-36)
相对标准差无量纲,用百分数(%)表示,但实际表达时通常省去%符号。相对标准差亦称变异系数(CV)。通常情况下,测量值的标准差随其量值的增加而增加,而其相对标准差随之减小。
(3) 标准差的可靠性 标准差s是总体标准差σ的一个估计值,由一系列测量值计算而得到,是一个随机变量,有一定的变动性。度量标准差变动性的标准差,称为标准差的标准差,表示标准差的精度。
标准差的标准差与测量次数有关,经推导得:
(1-37)
在有限次的测定中:
(1-38)
这种变动性随测量次数的增加而减小,标准差s更可靠。对样本标准差s的相对精密度可表示为:
(1-39)
当n=51时,可计算得:
结果表示,其时标准差的十位数已不确定了。通常在有限次的测量中,标准差取两位有效数字已足够了。表1-11表示了不同测量次数标准差的精度,即标准差的不可靠程度。
表1-11 标准差的不可靠程度
(4)或然误差 或然误差ρ指在一组测量值的误差中,落在-ρ和+ρ范围内的误差的个数与落在该区间范围外的误差个数相等。或者说,在所有的测量误差中有一个误差值,比它大的误差与比它小的误差出现的可能性恰好相等,这一误差称为或然误差。
根据或然率理论,当测量次数足够大时,或然误差和平均偏差与标准差有如下关系:
通常情况下,采用贝塞尔法公式计算标准差表示测量结果的离散程度。