2.2 信度分析
信度分析(Reliability Analysis)又称可靠性分析,是一种度量综合评价体系是否具有一定的稳定性和可靠性的有效分析方法。综合评价问题在统计学方面可利用信度分析方法进行分析。基本方式是做出被评估对象的总体目标,然后将其分解为若干个子目标,它们是总体目标不同方面的体现,是总体特征的部分反映。进一步,再将每个子目标进行量化处理。评估者通过计算被评估对象的总体得分得到最终的评估结果。
上述过程实际上是编制量表的过程。编制量表是否合理决定评价结果的信度和效度。SPSS的信度分析的主要作用在于对测验工具(量表或问卷)内在信度的分析。
本节主要讨论信度分析的基本方法和SPSS操作。
2.2.1 信度分析简介
信度反映了测验工具所得到的结果的一致性或稳定性,是被测特征真实程度的指标。
一般而言,两次或两个测验的结果越接近,则误差越小,所得的信度越高。信度本身与测量所得结果正确与否无关,它的功用在于检验测量本身是否稳定,学者 Kerlinger 认为信度可以衡量出工具(问卷)的可靠度、一致性与稳定性;信度值强调的是某一特定类型下的一致性,信度系数会因不同时间、不同受试者或不同评分者而出现不同的结果。一般信度的测量时容易产生误差的原因,是来自研究者的因素,包括测量内容(遣词用句、问题形式等)不当、情境(时间长短、气氛、前言说明等)以及研究者本身的疏忽(听错、记错等),而来自受访者的因素则可能是由于其个性、年龄、教育程度、社会阶层及其他心理因素等,而影响其答题的正确性。在统计学分析方面,信度检验完全依赖于统计方法。
另外,效度与信度的关系:信度为效度的必要而非充分条件。即有效度一定有信度,但有信度不一定有效度。
研究者透过信度与效度的检验,可以了解测验工具本身是否优良适当,以作为改善修正的根据,并可避免做出错误的判断。问卷受访时间间隔的影响及内容的同构型是影响信度的两个主要因素。
根据被测试者的测试时间和测试内容,信度又可分为内在信度和外在信度:内在信度是对一组问题(也可称之为题项)是否测量同一个概念,即这些问题(题项)的内在一致性如何,能否稳定地衡量这一概念(变量或维度),最常用的检测方法是Cronbach's(克朗巴哈)α 系数;而外在信度是指对相同的测试者在不同时间测得的结果是否一致,重测信度是外在信度最常用的检验法。
信度指标是对信度的一种定量化的描述方式,信度指标的量化值称为信度系数。信度系数越大,表明测量的可信程度越大,但也无法期望两次测验结果完全一致,信度除受测验质量影响外,亦受很多其他受测者因素的影响,故没有一份测验是完全可靠的。不同研究者对信度系数的界限值有不同的看法,一般认为,0.60~0.65认为不可信;0.65~0.70认为是最小可接受值;0.70~0.80认为相当好;0.80~0.90就是非常好。
因此,一分信度系数好的量表或问卷最好在0.80以上,0.70~0.80之间还算是可以接受的范围;分量表最好在0.70以上;0.60~0.70之间可以接受。若分量表的内部一致性系数在0.60以下或者总量表的信度系数在0.80以下,应该考虑重新修订量表或增删题目。
信度指标多以相关系数来表示,大致可分为3类:稳定系数(跨时间的一致性)、等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。
2.2.2 信度分析操作
在主菜单栏中,单击Analyze菜单,然后选择Scale子菜单,再从中选择Reliability Analysis命令,即可得到如图2-16所示的Reliability Analysis(信度分析)对话框。
图2-16 Reliability Analysis对话框
在左侧的变量列表框中选择两个或两个以上的变量作为评估项目,选中要分析的变量后,单击按钮,将其移动到Items文本框中。
在Model(模型)下拉列表框中选择信度分析模型,SPSS给出了5种模型:Alpha选项,对应 Cronbach's α 模型,为系统的默认选项,该选项用于计算度量表内部的一致性的克郎巴哈(Cronbach)α系数;Split-haf选项,对应拆半信度系数模型,该选项用于计算度量外在信度的表间相关程度的拆半信度系数,输出结果将给出Guttman和Spearman-Brown拆半信度系数以及拆半后两部分的克郎巴哈α系数,考察两部分间的相关性;Guttman选项,对应Guttman模型法,该选项用于计算最低下限的真实信度法,输出结果中产生6个信度系数,lambda1~lambda6;Parallel 选项,对应平行模型法,该选项用于计算各评估项目变异数同质时的最大概率(Maximum-likelihood)信度,该模型假设所有项目具有相等的方差和相等的方差误差;Strict parallel选项,对应严格平行模型法,该模型是假设评估项目具有相等均值的平行模型法,输出结果中包含有模型的拟合优度检验、各评估项目的方差计值、项内相关系数、信度的无偏估计等统计量。
在主对话框中单击Statistics按钮,将得到如图2-17所示的Reliability Analysis: Statistics(信度分析:统计量)对话框,该对话框用于选择描述信度和评估项目的统计量。
图2-17 Reliability Analysis:Statistics对话框
1. Descriptives for(描述性统计量)选项组
该选项组中给出了根据个案产生的尺度或评估项目的描述性统计:Item复选框,选择该项,表示输出各评估项目的基本描述统计量,包括项内均值和标准差等;Scale复选框,选择该项,表示输出各评估项目之和的基本描述统计量,包括均值、方差等;Scale if item deleted复选框,选择该项,表示输出剔除某评估项目后的基本统计量,以便对各评估项目逐个评价。
2. Inter-Item(项内统计量)选项组
该选项组中给出了输出项内统计量的选项:Correlations复选框,表示项内相关系数矩阵,如选择此项,则会输出相关系数矩阵的基本描述统计量;Covariances复选框,表示项内协方差矩阵,如选择此项,则会输出协方差矩阵的基本描述统计量。
3. Summaries选项组
该选项组中给出根据所有评估项目的分布计算的基本描述统计量。
Means复选框。表示评估项目均值。如选择此项,则输出若干个评估项目平均分的基本描述统计量,包括最大、最小和评估项目均值的平均分,以及评估项目平均分的极差和方差,最大评估项目平均分和最小评估项目平均分比率。
Variances复选框。表示评估项目方差。如选择此项,则输出若干个评估项目方差的基本描述统计量,包括最大、最小和评估项目均值的方差,以及评估项目方差的极差和方差,最大评估项目方差和最小评估项目方差的比率。
Covariances复选框。表示评估项目内在协方差。如选择此项,则输出若干个评估项目协方差矩阵的基本描述统计量,包括最大、最小和评估项目的内在协方差,以及评估项目内在协方差的极差和方差,最大评估项目内在协方差和最小评估项目内在协方差的比率。
Correlations复选框。表示评估项目内在相关系数。如选择此项,则输出若干个评估项目相关系数矩阵的基本描述统计量,包括最大、最小和评估项目的内在相关系数,以及评估项目内在相关系数的极差和方差,最大评估项目内在相关系数和最小评估项目内在相关系数的比率。
4. ANOVA Table(方差分析表)选项组
该选项组中给出了用于检验同一被评估项目在各评估项目上的得分是否有一致性的方法,有4个选项:None单选按钮,表示不作检验;F test单选按钮,即F检验,表示重复测量的方差分析,适合于数据为定距型且服从正态分布的情况;Friedman chi-square单选按钮,即Friedman卡方分析,表示进行非参数检验中的多配对样本Friedman检验,适合数据为非正态分布或定序型数据,计算Friedman和Kendall一致性系数,在ANOVA表中,利用卡方检验代替F检验;Cochran chi-square单选按钮,即计算Cochran's Q检验值,表示进行非参数检验中的多配对样本Cochran检验,适合数据为二值型,在ANOVA表中,利用Q统计量代替F统计量。
5.检验和计算评估项目选项组
在该对话框中,还给出了下列对评估项目检验和计算的选项:Hotelling's T-square复选框,表示 Hotelling T 方检验,检验所有评估项目的均值是否相等的多变量检验;Tukey's test of additivity 复选框,表示可加型的 Tukey 检验,用于检验评估项目中是否存在倍增交互作用;Intraclass correlation coefficient复选框,表示组内相关系数,用于进行一致性测度或个案数值的一致性检验。
在选中Intraclass correlation coefficient复选框后,(因为计算组内相关系数需选择计算方法和相关类型)下列选项变为可用。
Model(模型)下拉列表框中给出了用于选择计算组内相关系数的方法,这里给出了3个模型:Two-Way Mixed(两方向固定模型),为系统默认选项,当个案效应和评估项目效应均为固定时选择此项;Two-Way Random(两方向随机模型),当个案效应和评估项目效应均为随机时选择此项;One-Way Random(单方向随机模型),当个案效应为随机时选择此项。
Type下拉列表框用于选择指示类型,可选择的类型有以下两个:Consistency(一致性),为系统默认选项;Absolute Agreement(绝对一致)。
Confidence(置信区间)文本框用于指定置信区间的水平,默认值为95%。
Test(检验值)文本框用于指定假设检验过程的检验值,默认值为0,可输入0~1之间的数值,用于类间相关系数的比较。
在实际应用中,一般将信度分析与因子分析相结合,来确定测验工具项目的增减,基本步骤如下。
(1) 先作因子分析,在主菜单中,选择Analyze→Data Reduction→Factor命令,打开因子分析主对话框,然后单击 Rotation 按钮,在 Method 选项组中选中 Varimax 单选按钮。单击Continue按钮,返回到主对话框,单击Option按钮,在Coefficient Display Format选项组中,设定Supress absolute values less than为0.5。执行相关分析后,在输出窗口中得到结果,如果显示信息为KMO≥0.5(Yes) then communaity<0.5? (Yes),那么删去所有communaity<0.5的项目,再重作因子分析,直到全部communaity≥0.5;或KMO≥0.5(Yes) then communaity≥0.5? (Yes)。Rotated Component Matrix中如果有项目落到两个或两个以上的因子上,或有题项没有落到任何一个因子上,都要删掉再重作因子分析,按照上述方法循环,直到所有指标全部达标(相关内容请参照本书第10章)。
(2) 再作信度分析,在主菜单中,选择Analyze→Scale→Reliability Analysis命令,打开信度分析主对话框,然后单击Statistics按钮,在Descriptives for选项组下选中Scale if item deleted复选框,执行相关分析后,在输出窗口中得到结果。在表Reliability Statistics中,如果Cronbach's Alpha大于等于0.8,那么表示不用删掉任何项目,结果足够好;如果Cronbach's Alpha小于0.8,则要在表Item-Total Statistics中,看指标Alpha if item deleted(输出剔除某评估项目后的基本统计量,即α 系数可提高或降低为此值),把题项剔除,使α 系数大于等于0.8。一般而言,α 系数值的最低要求要大于等于0.7。若α 系数小于0,说明该反转的题项未反转,检查题项,将其反转。