认知诊断评价理论基础
上QQ阅读APP看书,第一时间看更新

第三节 认知诊断评价理论的兴起

每一种新的测量学理论的兴起总是伴随着原有理论研究的深入和社会发展的进步。认知诊断评价理论在项目反应理论深入研究的基础上,顺应了社会对评价信息更加精细的需求。

一、认知诊断评价理论的主要优势

随着社会大众和教育工作者对测量分析信息要求的转变,一个更加关注测量的特质内容本身意义的理论——认知诊断评价理论(cognitive diagnostic assessment theory,CDAT)逐步受到研究者关注。认知诊断评价理论由于强调了一个核心的概念——属性模式的作用,而被研究者认为是一个相对独立的测量学理论架构。认知诊断评价理论在形成性评价(formative assessment)中具有独特的优势。

认知诊断评价理论代表了心理测量学理论一个新的蓬勃发展的领域,它具有发展成为拥有诸多优势的理论的潜力。

认知诊断评价理论的一个主要优势,是能够在给被试特质赋值时提供更加深入细致的诊断性信息。认知诊断评价理论在给被试特质赋值时,不是给其赋一个笼统的观察总分(如CTT)或潜在特质水平分数(如IRT),而是根据被试的不同作答模式,提供出现这种作答模式的内隐的、潜在的认知结构分析。根据对被试认知结构的分析,我们可以知道被试在被测量的领域里认知发展的优势和劣势,知道被试哪些方面的认知水平发展得比较好,哪些方面发展得不足。因此,我们称这种赋值模式为认知诊断,支撑这种赋值模式的各种理论假设、数学模型、分析技术和分析方法构成了认知诊断评价理论的基本内容。

二、认知诊断评价理论的主要发展历程

认知诊断评价理论还非常“年轻”,然而其理论架构却已经非常“健壮”。认知诊断评价的思想在20世纪八九十年代被提出并逐步发展。1989年,罗伯特·林(Robert Linn)编辑的《教育测量》(Educational Measurement)中的两个章节的作者塞缪尔·梅西克(Samuel Messick)和理查德·斯诺(Richard Snow)、戴维·洛曼(David Lohman)提出了认知心理学与教育测量学结合的意义。另外,有一些代表性的文章和著作专门研究和讨论了认知诊断评价的问题,如弗雷德里克森、格拉泽、莱斯格德、沙夫特(Frederiksen,Glaser,Lesgold,Shafto)在1990年出版的书《技能与知识获得过程诊断》(Diagnostic Monitoring of Skill and Knowledge Acquisition);尼科尔斯(Nichols)在1994年发表的文章《认知诊断评价的一般过程》(A Framework for Developing Cognitively Diagnostic Assessments);尼科尔斯、奇普曼、布伦南(Nichols,Chipman,Brennan)在1995年出版的书《认知诊断评价》(Cognitively Diagnostic Assessment)。进入21世纪后,以美国2001年发布的《不让一个孩子掉队法案》为标志,教育与心理测量学研究者开始大规模地关注和研究认知诊断评价问题,使认知诊断评价理论在各个方向上都取得了快速的发展。在这一时期,各种认知诊断评价模型、模型参数估计方法、认知诊断计算机化自适应测验、测验属性定义等领域的研究成果大量出现。这一时期的代表性成果如龙冈(Tatsuoka)在2009年出版的书《认知评价:规则空间方法》(Cognitive AssessmentAn Introduction to the Rule Space Method);莱顿、吉尔(Leighton,Gierl)在2007年出版的书《基于认知诊断的教育评价》(Cognitive Diagnostic for Education Assessment);以及各种代表性认知诊断模型如DINA模型(Junker & Sijtsma,2001)、RRUM模型(Hartz,2002)、GDINA模型(de la Torre,2011)、GDM模型(von Davier,2008)等。认知诊断计算机化自适应测验研究也受到了极大关注(Cheng,2009;Cheng,2010;Hsu,Wang,& Chen,2013;Kang,Zhang,& Chang,2017;Kaplan,de la Torre,Barrada,2015;Liu,Ying,Zhang,2015)。当然,在这一时期,国内学者在认知诊断评价理论的各个领域也做了大量卓有成效的基础研究和实践应用工作,取得了大量原创性成果,在部分领域的研究甚至走在了世界前沿,在国内外发表了一系列研究成果,并出版了一批学术著作,培养了一批青年学者。

三、认知诊断评价理论的主要研究内容

认知诊断评价理论的主要研究内容有以下几个方面。

(一)领域认知模型的构建

领域认知模型定义了该领域的知识、技能、加工策略等,以及这些知识技能之间的结构关系。领域认知模型是测量和评价的内容目标,也是进行认知诊断评价的基础工作,定义了认知诊断测验结构效度评估的目标架构。

(二)如何命制一份具有良好质量的认知诊断测验

测验的信度和效度是衡量测验质量的主要标准。认知诊断测验要能够稳定、精确、精细地区分不同被试在目标领域中的掌握状态。测验结构应该与领域认知模型一致,同时能够在尽量精简的情形下,稳定地区分被试的发展水平。

(三)测验属性矩阵的定义

在定义了领域认知模型后,要保证测验编制过程中和编制结束后,测验及其题目能够很好地反映领域认知模型,测验题目与测量目标属性之间的关系定义是合适的。

(四)选择一个拟合良好的认知诊断模型或方法

该模型或方法能够基于测试数据和测验属性矩阵,估计每个被评价被试对领域认知目标的掌握状态。

(五)提供一份具有很好辅导作用的诊断性评价结果

根据被试的实际表现和领域认知模型,提供被试在该领域上的发展水平剖析信息,特别是存在不足的方面,并提出合理的改进意见。

(六)其他研究主题

认知诊断计算机化自适应测验、等值。

本书主要围绕上述内容展开叙述,但叙述的顺序会有调整。

本章小结

本章简要介绍了几个典型的心理与教育测量学理论的发展过程,简要分析了经典测量理论和项目反应理论的主要优势及存在的不足,并由此分析了认知诊断评价理论兴起的原因,最后还简要介绍了认知诊断评价理论的主要研究内容。

思考题

1.经典测量理论和项目反应理论的优势和不足分别是什么?

2.相对于已有的测量学理论,认知诊断评价理论的优势是什么?