关于干部教育培训课程评估的思考
课程评估是干部教育培训评估的重要内容。《干部教育培训工作条例》《党校工作条例》《行政学院工作条例》《2010—2020年干部教育培训改革纲要》都对干部教育培训课程评估予以高度重视,提出了具体的要求。目前课程评估在国家级和省级干部教育培训机构已经普遍开展,但在全国及至省域层次上均未形成统一、通用的评估范式;各地均遵循以课程评估为中心开展教育培训的评估工作,也存在以“评课”代替“评教”“评管”“评学”的现象。
一、课程评估类型及内容
《干部教育培训工作条例》第五十九条规定课程评估的内容包括教学态度、教学内容、教学方法、教学效果四个方面。在评估实践中,各地又将其分解为不同的内容、项目和指标。同时,由于课程类型、形式的不断丰富,对不同类型的课程的评估重点、内容和方式也相应有所区别。总体上,可将课程评估概括为专题讲授类和新教学形式类两类课程的评估。新教学形式类又包括案例式、研讨式、模拟式、体验式、现场教学等。进而言之,从不甚严密的角度看,可以将新教学形式类归纳为案例教学(涵盖体验—实训式、桌面推演教学)、研讨式教学(涵盖结构化研讨、辩论式教学)和这两种课程之外的“其他类型课程”(如情景模拟教学、访谈式、现场教学等)。
(一)专题讲授课程评估
主要包括以下方面:第一,教学态度。要点是:遵守教学纪律和规范;严格执行教学计划;备课充分,讲稿规范、课件精美;听取意见,持续改进。第二,教学内容。要点是:坚持正确政治导向,遵守政治纪律;突出“问题导向”,紧扣热点难点;容量适中,结构合理,详略得当,层次清晰;论证充分,见解独到,开拓思维,富于启发。第三,联系实际。要点是:能够运用马克思主义理论阐明党的路线、方针、政策,说明重大理论与实践问题;紧密联系国情、省(市、区)情,对热点、难点问题分析透彻;对授课内容有深入的研究,能够站在学术和政策、实践前沿进行答疑解惑;视野宽阔,能够进行古今中外的历史参照和对比分析。第四,教学方法。要点是:教学方式、方法、手段运用得当,效果好;有效互动,教学相长;表达准确,语言精练;仪表整洁,教态得体。第五,教学效果。要点是:能提高学员积极性和兴趣,形成良好的教学氛围;使学员很好地理解和掌握该专题的内容;能引发学员思考,希望继续探讨;能提高学员分析问题和解决问题的能力。
以上描述了课程评估的框架和核心要素,各地在实践中对其各有侧重或增减(如有的地方将课堂互动、讲课艺术、教风教态、课件制作作为一级指标等),反映了课程评估的基本要求,即课程基础性评估点的一致性。
(二)案例教学课程评估
其方式是将课程评估分为多项,并按各项内容及标准评为“好”“较好”“一般”“差”“优秀”“良好”“一般”和“较差”等不同等次。其评估项目主要包括案例选村、资料提供、理论阐述、课堂组织(互动)、案例分析、讲课艺术、教风教态、课件制作等。
(三)研讨式教学课程评估
其方式是将课程评估按相应评估项目及其标准评为“好”“较好”“一般”“差”。评估项目主要包括课前布置、课堂研讨、教师点评、启发与收获等。
(四)其他类型课程的评估
此类课程目前并无统一的指标体系,大致可以用总体评估的办法,按学员自身的理解和感受,将其评为“好”“较好”“一般”和“差”,或“优”“良”“中”“差”,或“非常满意”“基本满意”“不满意”“非常不满意”等若干等次。
二、课程评估方法
(一)完成评估的方式
以“一课一评”或“一单元一评”为主,在时间上又有即时评和课后评之分。对学制较长班次设置纠偏机制,如有的地方规定,第一单元或前几次课程的评估可以在整个单元结束后甚至延至本班中段再进行评估。
(二)课程评估的方法
1.总体评估法。由学员对照评估内容和标准,按照优秀、良好、一般、较差(或A、B、C、D,或非常满意、满意、基本满意、不满意等)若干等次,分别对课程进行评估。结合参评率,得到某一课程的大致总评情况。还可进一步根据学员评估情况,通过一定的赋分和计算规则得到更精细的、具有更广泛教学评估价值的评估数据,用以评估课程质量,进而分析班级、教学单元、模块或教学部门的授课情况。这些数据也可用于某些单元、班级、部门之间的横向对比。当数据积累到一定的长周期,则可以发现某些课程或某些教师、某些部门、整个机构的教学评估曲线,乃至发现某些特点、趋势的和规律。
2.分项评估法。由学员对课程各设定指标及赋分予以评分,然后加总形成本门课程的总评分。在操作上,这种方式也有纸质和电子化两种形式。纸质的也有两种情况,一是如有的地方按照需要制作课程评估的机读卡——“评教信息卡”或“教学质量测评表(讲授式或案例式)”,由学员在卡上作答,然后由机器读取数据;二是把课程评估表印制后分发予学员,课后收回,由人工录入电脑。从技术实现程度上来看,电子化评估可以收集更多的数据,同时处理数据的能力也更加强大。
3.综合评估法。即将被评课程分为分项式和总体式两部分,分别予以评估。其具体做法是,分别制作“分项评价”和“总体评价”各内容和指标、标准,进行评估。
(三)获得评估结果的两种方式
实际操作上体现为“反向”的两种思路。一是先对各指标赋分,制作评估表,在学员评估后计算得分的基础上,把相应的分数段划为优、良、中、差或A、B、C、D各等级,从而得出各课程的结果。二是出于对学员差异化的考虑和时间成本的考虑,采取了总体评估的方式,即将课程划为类似优、良、中、差或A、B、C、D各等级供学员评估,在此基础上,根据之前由教务管理部门对各等级的赋分(如“优”为90~100分等),经计算获得各课程的最终评分。
在数据采集和使用过程中,一般采取规避偶然因素的措施。如:有的在计算专题得分时,班级人数50人以下的,去掉两个最高分和两个最低分,班级人数大于50人的,去掉三个最高分和三个最低分,然后将总分除以有效测评人数;有的规定,按照本班次学员人数5%的比例,分别去掉最高分和最低分,剩余分数的平均值为该教师本班次最终成绩;某个班次的原始教学质量评估最高成绩超过70%雷同,该班次教学质量评估成绩作废,重新进行评估;有的地方规定,参评率低于80%的班次其课程评估结果不采用。同一教师在同一班次的教学质量评估成绩,大部分党校都执行取其平均值的办法;各班次上课教师在本年度所有班次的成绩加以平均,计算出的平均成绩为该教师本年度教学评估成绩,等等。
(四)课程评估的组织与实施
一般由教学管理部门主导,不少地方将此项工作纳入学员管理部门的相关制度中(如对学员进行参评作出规范,或对不参加评估的学员予以规范),从而实现教务管理和学员管理的对接。近年来越来越多的地方将课程评估纳入整体教学质量评估中,使之具有了某种顶层设计的内涵。因此,其组织实施也具有相应的调整。如有的成立“教学工作考评委员会”“教学质量评选委员会”等,并由学校主要负责同志主导。
三、课程评估结果运用
《干部教育培训工作条例》规定“教育培训机构应当将评估结果作为指导教学部门和教师改进教学的重要依据”。各地做法主要有:第一,作为课程质量评定的重要依据。各地有的以学年计或学期计,把课程评估作为课程质量的标准;有的以二年或三年为周期,甄别出课程质量优秀者、中等者及较差者。第二,作为课程调整的重要依据。将课程评估结果作为改进教学计划,进行“末位调整”的基本依据。第三,作为业绩考核和教学评优的重要依据。涉及评优、评奖、绩效考核、评职晋升等。
在此过程中,以下几点应当引起注意。一是有的地方实行“一票制”,教师的授课质量完全由学员投票评价。二是有的地方将学员评估作为整体教学评估的一部分,采取“以学员考评为主,采取课后评与期终评相结合”的办法,或将课程评估纳入整体“教学质量评估”中,并将之分为“课堂教学评估”“教学综合评估”和“调研评估”三个类别进行。三是有的地方采取了类似“容错机制”的措施。如规定:“新专题教学测评分数低于教师本人平均分的,不计入当年教师个人的平均分”等,避免“一刀切”。
四、课程评估的问题和难点
课程评估是对课程质量进行价值判断的过程,目前既有理论研究不深入、学理支撑不够的问题,也有实操层面领导不重视、相关部门不配合、实施部门探索创新不足等问题,集中体现为如下难点。
(一)没有基于干部胜任力模型上的评估项目、内容及其标准
干部教育培训必须符合干部教育培训规律和干部成长规律,课程设计要贯彻落实政策规定,符合国家的相关法律法规,应能基于不同层级、类别干部胜任力的能力框架模型之上。目前各级各类干部的胜任力模型还不够科学完善,直接导致课程设计、教学实施、课程评估没有科学权威的标准和参照系。
(二)评估指标体系不完善
课程评估往往较多着力于对培训知识本身的考察,而这是远远不够的。就学习培训而言,课程评估不仅限于学员通过课程所获得的意识、知识、技能、态度等方面的感受(反应层),也应包括这些方面内化于学员的程度(学习层),更应包括学员将之应用于工作(行为层),以及带来的政治效益、经济效益和社会效益的大小(结果层)。当前的课程评估大多只涉及反应层、学习层,难以涉及行为层和结果层的评估,故评估指标是不完善的。这也导致评估结果不能反映真实授课质量,缺乏权威性,弱化了其针对性、操作性,导致其信度、效度不高,反馈信息价值不大。
(三)评估方法手段比较单一
干部教育培训对象在层级、职业背景、教育程度、培训需求等方面存在很多差异,但课程评估很大程度上依赖于格式化的问卷调查、预制表格等方式进行,难以及时、深入地反映培训对象的个体性和差异性,不能使之准确地对课程作出评估,参与性和互动性较弱。
(四)评估主体过度依赖学员
课程评估往往只局限于课程的“课堂传授”阶段,将学员的评估作为唯一的指标并以此代替整体的培训评估,这显然有失偏颇。另外,过分强调学员评估,也就一定程度上排斥了同行、专家的评估。同时,由于学员岗位性质、知识结构、社会阅历不同,因此对教学评估的理解和认识也不同。从而可能出现过于苛求、过于随意、消极应付、打人情分等消极倾向。
(五)评估结果运用不充分
评估结果的反馈大多限于告知结果,缺乏有关分析及改进建议,评估与改进工作联系不够密切,评估中出现的问题没有在以后的教学中加以改进;培训评估效果信息反馈不全面,忽视对评估结果的沟通、分析、反馈;课程评估滞后于本期的授课进程,结果出来时课程已经结束,对本期培训解决问题和改进工作指导性不强等。加之课程评估配套制度政策不健全,使评估工作与教师的奖惩、考核、职级晋升、转岗、薪酬待遇等挂钩不紧,导致教师对课程评估的预期模糊。
(六)评价内容和指标的权重难以科学量化
一是在分项评估方式中,如何对所设定的内容进行合理的分值分配。二是在总体性评估中,各等级的分数段如何确定。三是在综合性评估中,如何实现各评估环节本身的分值匹配合理化,并在此基础上实现各环节之间权重的科学化。若考虑到有的地方还赋予各种班次以不同的难易系数,赋予不同专业技术职称教师以不同的系数,则更加使该问题复杂化。
(七)难以保证专家(同行)稳定、持续地参与评估
很多地方的评估是在单位内部封闭运作的,评估主体单一,故引入专家或同行参与评估也成了另外的选择,而这又出现另外一种情况,即专家和同行难以稳定、持续参与全程评估。
(八)新的培训方式、课程类型、教学方法对教学评估提出挑战
从普遍范围来看,案例教学、现场教学、模拟演练、行动学习法、研究式教学、论坛式教学、角色扮演、结构化研讨、双讲(多讲)式教学等新的培训方式方法在培训中的大量使用,既有的评估理念、评估模式、评估指标体系、权重设定、评估手段难以完全实现分门别类地评估,面临着诸多挑战。