1.2.4 统计分析的关键思路及质量评价
统计分析的常见策略主要包括数据统计描述、数据差异显著性检验、关联性分析、回归分析、聚类分析、降维分析等内容。这些策略可以分为两个不同的类别,其一是对数据的描述与检验,其二是基于数据建模并依据模型对未来数据实施判定或预测。上述策略主要有两种关键思路。
1.统计推断——提出假设并检验假设
(1)统计推断的基本思路
在数据检验前,先提出一种假设,然后按照特定的算法对假设进行检验,最后根据检验概率判定假设成立的可能性。这就是统计推断。
在实证研究中,人们通常先假设“不显著”,例如,实验班与对照班学生的成绩没有显著差异,或学生性别对物理成绩没有显著的影响,爱好与性别没有关联性。这个假设被称为零假设,简记为H0。然后利用已有的数据进行计算、归纳,最后根据统计规律分析零假设成立的可能性。
例如,在数据的差异显著性检验过程中,人们通常预先假设两列数据不存在显著性差异,然后依据SPSS或Excel内置的算法算出假设成立的概率值(即假设成立的可能性)。若假设成立的概率值p大于5%,则表示原假设是成立的,两列数据之间是不存在显著性差异的;若假设成立的概率值p小于5%,则表示原假设是很难成立的,即两列数据无显著差异的可能性很低,两列数据之间是存在显著差别的。
对两列数据的关联性分析也借助了这一思路。
(2)统计推断中常见的两种错误
在统计推断中,“显著性”是研究者期望得到的结果。例如,经过教学改革,实验班与对照班学生的成绩有显著性差异;在医药领域,服用新药的病人与服用安慰剂的病人身体状况有显著差异;在归因分析中,新媒体技术的应用对学生的物理成绩产生了显著影响……
对于“显著性”的统计推断,容易发生两类错误:其一,错误地拒绝了零假设,把不该显著的事情判定为“显著”。这类错误也被称为第一类错误(即α错误,或TYPE I错误)。其二,错误地接受了“零假设”,把本该显著的事情判定为“不显著”。这类错误也被称为第二类错误(即β错误,或TYPE II错误)。
从科学研究来看,犯第一类错误的危害较大,相当于把“无差异”判定为“有差异”、把“无效”判定为“有效”。这可能会衍生出后续的研究、应用,其危害将是不可估量的。相对而言,犯第二类错误的危害则相对较小,研究者如果对自己的假设很有信心,可能会重新设计实验,再次来过,直到得到正确的结果。
除了样本自身和计算精度的影响之外,在“何种情况下拒绝零假设”的标准对于减少两类错误非常重要。标准定得过宽,则容易犯第一类错误;标准定得过严,则容易犯第二类错误。
因此,在科学研究中,人们通常指定“检验概率值p=0.05”作为判断是否承认零假设的标准(即常讲的置信度为95%)。当p≥0.05时,就承认零假设,认为研究对象的表现不显著;只有在p < 0.05时,才拒绝零假设,认为被研究对象的表现是显著的。在特定情况下,为了提升研究的标准,进一步控制“显著性”,人们也常常把p=0.01作为拒绝零假设的标准值(即置信度为99%)。
在统计学中,p=0.05这个标准被称为“置信度95%的显著性标准”,因此也常被写作Sig值=0.05。
2.对数据建模及模型质量的判定——基于“模型值/偏差值”
在统计分析中,不论是做回归分析还是判别分析,其实都是力图创建一个尽可能与测量数据很好地拟合的数据模型——创建并检验模型质量的过程就是建模。对于模型的质量,人们通常利用“模型值/误差值”(即效应值)来判定模型的有效程度,这一思路贯穿了统计分析的各个过程,只是在不同的模块中可能呈现为不同的具体形态。
例如,在两次抽样数据的差异显著性检验中,人们常常使用两个均值的差与其标准误(即SE)的比值来判定两个数据序列是否存在显著性差异。事实上,若两个序列的均值之差远大于标准误SE,则表示这两个序列之间的差距远远大于各个组的组内正常波动,即组间的差异值不是由组内正常波动而引起的,组间的差别应是由分组所导致的。这就是非常重要的T检验的核心思想。对应的公式如式1-1所示。注意,公式中的Xa和Xb分别表示两个序列的均值,SE则代表着抽样数据的标准误。
式1-1
在线性回归分析的处理中,通常需要根据已有的数据创建回归方程,即基于已有数据建构模型。在完成了建模后,根据模型计算出的数值称为回归值(即期望值),而原始数据(观测值)与回归值之间的差被称为残差,也可以称之为误差。回归值越接近对应的观测值越好。因此人们用“回归值的均方和”与“残差均方和”的比值(简称F值)来评价回归方程的质量。这个比值越大,表示回归方程的影响力越大,回归效果越好。在理想情况下,回归方程能够完全拟合测量值,则相应的“残差均方和”为0,导致F值为无穷大。评价线性回归质量的计算方法如式1-2所示。
式1-2
同理,判别分析也借助了与此相似的评价方式,通过残差与有效数据的比值来反映判别效果,这个比值(Wilks Lamda值,即威尔克斯λ值)越小,表示判定效果越有效。
注意:
本节为了阐述统计分析的一些基本思路而提及了较多的术语,对于这些术语,读者可暂时只是记忆,但不做深入理解,后续将进行详细的解读。