1.4.2 量化研究中的误区
在量化研究中,没有来源可靠、信度高的数据,研究结论就无法保障,当然,统计分析方法的正确性和严谨性同样重要,错误的研究方法将导致研究结论被“一票否决”。因此,在社会科学的量化研究中,应该注意避免以下几类问题。
1.调查指标与研究问题脱节,未能真正地覆盖研究问题
在社会科学的量化研究中,最可怕的现象就是,调查指标或调查问卷不能真正地覆盖研究问题,或者调查指标与研究问题是“两张皮”,二者很不一致,导致研究结论极为不可靠。
2011年前后,笔者曾经评审过这样一个研究课题“从TPACK视角探索免费师范生的技术能力”。研究者主要以调查问卷的方式展开调查,并基于采集到的800多份问卷做了各层次的统计分析,最终获得了研究结论——各专业免费师范生的技术能力由弱到强可排列为:思想政治教育<教育技术<哲学<中文<俄语<历史<生物<化学<物理……然而,这一研究结论却极为可疑!
从其研究结论中可以看出,教育技术专业学生的技术能力仅高于思想政治教育专业,在全校各个专业中位于倒数第二。而从免费师范生参与学校活动的实际情况看,教育技术专业学生的技术能力一直很强,仅弱于计算机专业的学生。因此,此课题的研究结论存在较为严重的问题。
仔细查阅该课题的研究过程,笔者发现调查指标存在着较严重的问题:问卷中绝大多数题目的题干都有很强的主观性,仅关注了研究对象的个人感受,几乎没有一道题目能真正地从技术使用视角测量研究对象对技术的实际应用能力。因此,该研究更像是在探究免费师范生对自己技术能力的满意度,而不是调研学生们对技术的实际应用能力。
总之,在任何一个面向社会科学问题的研究中,调查指标的设计一定要慎重,一定要切实注意“调查指标的结构务必适应研究问题,能够全面地覆盖研究问题”,务必要避免“调查问卷与研究问题‘两张皮’”的现象。
2.孤证难立,研究结论存在较大风险
在很多社会科学的研究中,都存在着由研究者自设调查问卷并且一张问卷“包打天下”的错失。而在现实中,导致教育教学发生改变的原因通常是多方面的,而且研究对象在填写调查问卷的过程中还容易受到情感、态度、学习工作状态等诸多方面的影响。因此,在社会科学的定量研究中,要务必注意“孤证难立”,切实注意研究中的风险。
基于上述思路,通常需要在问卷调查的基础上,适当配置访谈、教师评价、学生成绩、学生课堂表现等不同维度的数据,以形成比较完整的评价体系。多视角的数据相互佐证并修正,能减少教研中的孤证现象,以保证科学研究的严谨性和客观性。
3.统计分析方法应用错误,导致研究结论存疑
统计分析在社会科学量化研究中的地位是毋庸置疑的,不过,初级研究者很容易错误选用统计分析方法,导致研究结论错误。笔者作为评委评审北师大的学生科研项目时,每年都会发现多个基于定量分析的科研项目误用了不恰当的统计分析方法。统计分析方法的错误,直接导致研究结论的可信度不高,会严重影响研究的质量。诸如,对实验班和对照班后测数据之间的差异显著性检验采用了配对样本T检验,对定类变量与定类变量之间的关联性分析使用了皮尔逊相关分析,等等。这些错误导致的问题是非常严重的,轻则使研究结论存疑,重则直接把研究引入歧途。
因此,参与定量研究活动的每一个研究者,都应该精准地掌握每一个统计分析算法,把握其在输入方面的约束条件,并能精准地解读其输出的表格,从而保证能正确地应用统计分析方法,获取可靠、准确、客观的研究结论。