1.4.3 量化研究质量的保证
量化研究是基于数据的研究,其核心是数据。在社会科学的量化研究中,应从测量量表的科学性与有效性、测量过程的严谨性、统计分析和结论解读方法的正确性及适时的分类跟踪等几个方面保障研究的有效性。
1.测量依据要科学、有效——要保证测量指标的效度
对研究对象进行测量以获得数据是量化研究的起点。在此过程中,测量依据的科学性和有效性是关系着研究成败的关键因素。
在社会科学的量化研究中,人们通常借助调查问卷或考试试卷对被试实施测量。其中,调查问卷的来源有2类,其一是直接选用已经成形且被学术界认可的调查问卷。由于这类问卷已经被学术界认可,其信度和效度已经得到过论证,它们通常被称为量表。其二是根据研究目标自行设计调查问卷。由于这类调查问卷是由当前研究者根据研究目标自行设计的,在调查指标维度、调查问题设计的严谨性和代表性等方面均有可能存在较严重的问题。因此,为保证这类调查问卷的科学性与有效性,通常需要对这类调查问卷做效度检验。只有效度达到标准和规范,才可使用这类调查问卷开展大范围的测量。
另外,即使是借用权威的量表开展研究,仍要注意量表的适用范围、量表的常模参数,要避免量表的超范围使用和滥用。
2.测量过程须严谨——要保证数据的信度
在社会科学研究中,基于调查问卷的数据采集经常会受研究对象态度、情感、团体状态等因素的影响。另外,部分研究对象可能会因匆匆填写问卷而未能正确地理解问卷的每个题干,这也会导致测量数据出现较大的偏差。
为保证数据的有效性和客观性,在测量过程中要注意做好以下几点:①测量过程应是有组织、有计划的,整个测量过程应在有限时间内完成;②研究对象应具有代表性,研究对象对当前测量的态度是积极的、欢迎的;③研究者应适当控制测量进度,尽力避免少量研究对象匆匆填写;④对于面向小学生的调查,应向他们仔细解读每一个调查问题,以帮助他们更好地理解题干,避免误解题干导致的数据错误。
3.正确地分析数据、正确地解读分析结论——要保证统计分析过程的严谨性
量化研究过程中,统计分析是其关键步骤。选用正确的统计分析方法、正确地解读分析结论是量化研究的基本要求。
获得测量数据后,即可根据研究目标选择统计分析类型。在明确了统计分析类型之后,还需根据数据自身的特点确立具体的分析方法。例如,在“实验班-对照班”模式的教改研究中,研究者分别对两个班进行了测量,现在需要检验两个班的后测数据是否存在显著差异,以便论证教改的成效。那么,在配对样本T检验、独立样本T检验、独立样本的非参数检验、方差分析等多种差异显著性分析方法中,到底应该采用哪个分析方法呢?
如果选用了错误的统计分析方法,将导致研究结论被直接否定,整个研究就失去了价值。另外,在完成统计分析之后,要正确地解读分析结论,对分析结果表格中的每一项指标值做出正确的解读。
4.正确看待分析结论中的异常现象,适时分类跟踪——善于跟踪与深挖,形成研究亮点
在量化研究中,多数情况下统计分析结论与研究假设一致,统计分析结论能够论证研究假设。
当然,分析结论与研究假设不一致的现象也并不少见。对于这种现象,研究者无须烦恼,因为这有可能是发现重要创新点的机遇。
在发生此现象之后,研究者应静下心来,对原始数据做分类跟踪,或者依据调查数据的结果值分类并逆推,从中找出问题的根源。在多数情况下,针对统计分析中发现的不正常现象所做的跟踪,通常能够发现亮点(即不为人们注意但非常重要的结论),从而在一定程度上提升研究的深度。
总之,量化研究也需要“跌宕起伏”的情节,请关注量化研究中的异常数据、特殊现象,它们往往是研究亮点的源泉。