海南省干部教育培训项目质量评估研究
开展干部教育培训项目质量评估研究是落实中央和省委关于干部教育培训工作新精神、新要求的重要举措，是提升干部教育培训质量的有效手段，也是加强干部教育培训机构自身建设的客观需要。开展干部教育培训项目质量评估研究，有利于对海南省的培训项目进行考核测评，有利于优化培训设计，提高干部教育培训的针对性和实效性，进一步引导培训机构推动教学改革、提高办学水平、加强自身建设。
一、国内外干部教育培训项目评估工作概况
按照目前国内外通用的评估做法，干部教育培训项目质量评估主要是对培训项目各个环节的评估，主要包括对培训设计、培训实施、培训管理、培训效果的评估，不涉及对培训机构硬件的测评。
（一）从国外情况来看
欧美发达国家在公务员培训项目评估方面的制度相对成熟和完善，其中较有代表性的是美国模式、法国模式、英国模式和加拿大模式。如美国公务员培训把培训项目作为一种投资，注重对培训过程进行评估，有一套完整的系统量化评估表，培训效果评估注重对培训后业绩的评估，并注重分析培训的收益和成本。法国公务员培训注重评估过程的完整性，每个培训机构都通过完善的培训评估不断提高培训质量，重视对培训结果的应用，将培训考评的结果如实记入培训档案，作为职务晋升、工资和职位调整的重要依据。英国公务员培训建立了有效的培训评估机制，实行培训评估主体外部化，有完整的培训评估循环系统，在培训前、培训中、培训后分别进行评估，各环节相互衔接，相互结合。加拿大公务员培训将量化评估贯穿于培训项目始终，其评估框架包括三个部分：对培训对象的需求进行评估、课程效率评估、课程效益评估等。
（二）从国内情况来看
干部教育培训项目评估工作起步较晚，2003年人力资源和社会保障部印发《关于进一步加强国家公务员培训质量评估工作的意见》后，我国才初步确定了干部教育培训项目评估的主体、目标原则和相对完整的评估内容，个别省市和系统才开始在干部教育培训项目评估办法和指标体系方面有了尝试。另外，我国在这方面系统性、针对性的研究甚少，相关研究大多是基于国外理论，再根据中国国情和培训评估实践，对国外经典模型进行各有重点的修正。目前积极探索开展这方面工作的省市有重庆、广西、贵州、河南、江西、天津、上海、江苏、甘肃等地。其中，重庆、广西的干部教育培训评估工作走在了全国前列。如，重庆出台了《重庆市国家公务员培训质量评估办法》，规定培训项目从培训方案、培训实施、培训保障和培训效果等4个方面进行评估，设定评估指标20个，每项评估指标分优、良、中、差4个等级。广西先后出台了《关于开展在职干部全员培训评估工作的通知》《广西在职干部全员培训评估方案》等指导文件，将培训项目评估作为经常性工作来抓，其重点抓好三方面工作：一是对教学质量进行双向评估，主要是在党校建立了主体班教学质量评估制度，学员和教师互评；二是对项目实施过程中的组织管理进行动态评估，边评边改；三是对学习效果进行追踪评估。
（三）从海南情况来看
近年来一直在积极采取各种措施推动干部教育培训项目质量评估工作：一是不断完善培训评估的方式方法。省委组织部先后成立督查组对部分市县和省直单位进行实地抽查；派出跟班管理员参与培训项目指导培训工作；向学员发放“评估表”进行随机检查；督促市县党委组织部、有关培训机构提交培训情况报告，等等。二是在境外培训项目、干部选学和省委党校主体班次的评估工作中尝试构建指标体系。如在境外培训项目评估方面，专门设计了供学员填写的《海南省委组织部境外培训班项目质量评估表》（见表1），将培训设计、培训实施、培训管理和培训效果等4项作为评估内容，并分设了11个评估指标，5个评价等级。
表1 海南省委组织部境外培训班项目质量评估指标
在干部选学评估方面，面授类课程统一采用省委组织部制作的《海南省干部选学工作质量评估表》，对教学质量和培训机构这两方面进行评估。对教学质量的评估包括理论阐述、联系实际、讲课艺术、课件制作等内容，对培训机构的评估包括课前准备、组织教学、师资水平、学员管理等内容，均设4个评估等级。而网上选学则针对课程（课件）的质量进行评价。在省委党校主体班次培训项目评估方面，每个主体培训班次结束时给学员发放《教学满意度学员测评表》，对每个课程进行综合满意度测评。三是开展与评估工作相关的课题研究。2012年海南省委党校开展了评估市县党校的调研工作，形成了专题调研报告，报告中提出了市县党校办学水平评估指标要目、等级标准、科研成果赋分等级、结果等级标准等评估指标体系。在这套评估指标中，一级指标、二级指标和主要观测点，及其对应的参考权重（分值）一应俱全，等级标准则分设为3个。2013年临高县党委组织部自发开展了培训效果评估问题研究，设计出《临高县干部教育培训效果评估指标体系（试行）》，含5个一级指标和21个二级指标，每个二级指标设4个等级，每一等级对应相应分值，评估结论分4种。总的来说，通过近几年的探索和实践，海南省干部教育培训项目评估工作取得了一定的成效，评估内容基本涵盖了课程设置、教师授课水平、教学管理、教学效果等方面，有效地提升了海南省干部教育培训的质量和效益。
二、海南省干部教育培训项目质量评估存在的问题
（一）评估理念较滞后
一方面，培训机构普遍存在评估理念落后，对通过培训项目评估促进自身办学水平提高的重要性认识不足，评估工作组织不科学、不严密，对评估结果的运用重视不够。另一方面，各单位领导、干部教育工作者、参训学员对培训项目评估思想不够重视，认识不到位。如一些干部教育工作者认为培训的流程就是：接受上级的培训任务→制订培训计划→实施培训→颁发毕（结）业证书，而对培训的评估及培训效果没有足够的认识；一些学员对于培训项目评估的态度比较模糊，认为培训项目评估与自己关系不大，参与积极性不高。问卷调查显示，近三年来有38%的学员参加培训时没有对项目进行评估，对项目设计进行评估的仅有13%，对教师授课、课程设置、培训管理、培训效果进行评估的不足五成。
（二）评估标准不科学
调研发现，干部教育培训项目评估标准存在偏差。有的培训机构、委托办学单位或干部教育工作者错误地把投入多少作为评估标准，以培训规模大小、培训时间长短、培训频率、投入经费多少为标准来衡量培训情况，认为时间越长，规模越大，投入经费和人力越多，班次越多，培训成效就越好，而并非以培训效果、参训学员能力素质的提升和组织绩效的提升来衡量培训效果；有的片面地把评估认同为对教学的评估，即只是对教学内容、教学组织、教学方式的评估，甚至只是理解为学员对教师的满意度评估，而忽视对学员的学习收获、工作绩效的提高及对组织推动作用的评估，忽视了教学对组织需求、岗位需求、个人需求满足程度的评估。
（三）评估主体较单一
目前我省干部教育培训评估主体主要有三个，分别是组织部门负责干部教育培训工作的处（科）室（如，省委组织部干部培训处）、培训机构（如，省委党校）和参训学员。除此之外，学员所在单位、教师、第三方评估机构等其他相关人员未能参与到培训评估工作中。单一的评估主体有其难以克服的局限性。一是评估主体的专业化程度不高。无论是培训主管部门还是培训机构，既没有专门的评估领导机构，也缺乏专门人员、专项经费，时间、精力等方面受到限制，开展评估工作不够专业化。二是评估信息收集不全面，评估结果的可信度与效度不高。评估方式单向运作，缺乏学员自我评估、教师评估、培训机构内部评估、社会评估，因此得到的信息较为片面。三是评估结果的公平性、公正性受质疑。培训机构自评，既是运动员、又是裁判员；一些评估人员出于自身利益考虑，轻描评估结果的消极方面，重墨积极方面；一些学员也基于面子或者其他考虑，在评估过程中会给予教师、课程高于实际的打分。
（四）评估内容不全面
经调研，海南省委党校和海南省委组织部组织实施的各类培训项目中，普遍开展了课程评估，了解教师的教学态度、教学内容、教学方法、教学效果等情况，但是对教学计划设计、计划实施的程度、教辅资料、设备设施、教学环境的评估几近缺失。一是没有对培训需求调研作评估。对于是否开展了培训需求调研工作，未纳入评估范畴，调研内容是否全面、方式是否科学更无从谈及。二是没有对培训计划设计作评估。好的设计是成功的一半。对于教学目标设定是否合理、课程安排是否突出针对性、培训资料选择是否得当、培训方式方法选择是否科学、学制长短是否妥当等都没有评估。三是没有对培训管理者的管理作评估。没有对班主任、项目负责人、跟班组织员、教学教务负责人等培训项目管理人员的工作情况作评估。四是对培训效果评估不全面。如在培训中，没有对学员的学习状况、分组讨论的效果进行评估。培训结束后，没有对学员所提交的心得体会、班级总结报告的质量进行评估，没有对学员返回工作单位后的学用结合情况进行评估。另外，也没有对学员所在单位对学员参训效果的评价进行评估。
（五）指标体系不完备
目前，我国尚未建立起一套适用于干部教育培训的完整的评估指标体系。海南省开展干部教育培训项目评估时运用的评估指标，存在两方面的突出问题：一是评估指标操作性不强。指标体系粗放、简单、不完整，以课堂满意度评价为主，对培训需求、培训设计和培训管理的评估缺失。指标体系无法覆盖全部教学环节，反馈信息有限，可操作性不强。二是评估指标科学性不足。定性指标多，定量指标少，“长官意志”起重要作用，主观色彩浓重。在权重分值设置上靠经验、拍脑袋，没有运用统计学、模糊数学、层次分析等方法做数理支撑。
（六）评估制度不健全
科学完善的评估制度是有效开展干部教育培训评估工作的重要保证。与国外相比，我国干部教育培训项目质量评估还处于探索发展阶段，没有明确的规章制度或相应的办法文件，对评估的周期、程序、使用方法等都缺乏指导性意见。尽管《2013—2017年全国干部教育培训规划》《公务员法》等中央文件都对干部教育培训评估作了规定，但都较为宏观，不利于具体操作。以《干部教育培训工作条例》为例，条文中分别对培训机构评估、培训项目评估、课堂评估的评估主体、评估内容、结果运用等作了简要规定，但未对评估目标、评估原则、评估对象、评估内容、评估流程、评估方法、评估工具作相应的规范或细则说明。从海南省实践来看，较少有地方建立干部教育培训评估的配套规章制度，没有相应的经费保障制度、奖励激励制度，尤其是评估结果对培训机构评优、整改没有直接联系，对相关责任人的职级晋升、转岗、薪酬待遇没有直接联系。
（七）评估结果运用不到位
当前，海南省干部教育培训评估结果没有得到很好的运用，不能有效发挥对学员、教师、培训机构等主体的推动、督导作用。一是评估结果不分析、不反馈。没有对评估结果进行有效分析、撰写评估报告，也没有选用适当的形式公布，没有及时向干部教育培训主管部门、教师、学员、学员所在单位进行反馈，导致干部教育培训主管部门不能掌握培训效果、教师不知道授课效果、学员及所在单位不知道学习效果，而是将评估结果束之高阁。二是评估结果与改进工作联系不够紧密。对评估中发现的问题，没能在以后的培训项目设计、教学、管理、考核和后勤保障等环节中加以改进，培训机构没有认真将有关评估结果作为加强和改进自身建设、提高办学能力的依据。三是评估结果没有与干部的激励奖惩挂钩。国外公务员培训评估多将评估结果与晋升、录用、奖惩等联系起来。例如美国规定，公务员晋升之前必须进行两周培训，评估合格方可晋升。法国规定，按照学习成绩排名，由学员自己选择公职部门提供的空缺岗位。培训项目的评估结果与干部的考核、评优、工资待遇、晋升等人事管理脱节，会导致大家对参与评估的积极性不高，影响评估结果的真实性和有效性。
三、加强海南省干部教育培训项目质量评估的对策
针对以上情况，构建海南省科学、合理、有效的干部教育培训项目质量评估体系要着力解决“为啥评，谁来评，评什么，怎样评，如何用”等方面的问题。
（一）强化干部教育培训评估理念
认识是行动的基础和先导。做好干部教育培训项目质量评估工作，必须要有正确的工作态度和理念，要通过培训、会议、文件、考评等多种途径加强和提升认识。一是要充分认识到评估工作的重要性。无论是培训机构还是主管部门都要认识到干部教育培训项目评估既是科学管理培训项目的必要手段，也是提升培训效果、适应新形势发展的客观要求，更是提高培训项目质量的重要途径。二是要认识到开展培训项目质量评估的必要性。开展培训项目质量评估，不仅有利于干部教育培训主管部门宏观统筹培训工作，还可以增强培训机构的工作动力和提升学员的学习效果。各级干部教育培训主管部门和培训机构都应予以高度重视，将干部教育培训项目评估落到实处。
（二）构建项目质量评估主体
“谁来评”就是要科学界定评估的主体，要保证项目质量评估公正、客观，就应该构建多元的评估主体。一是构建“自评”的评估主体。培训机构可以组建有分管领导和相关部门负责人为主体的评估工作领导小组，对照评估要求、内容、指标开展自评，查找问题，改进不足。二是构建“他评”的评估主体。培训机构可邀请非本地区、非本单位具有干部教育培训评估经验的专家组成评估组，进行检查评估，也可以由各级干部教育培训主管部门邀请第三方评估机构定期或不定期对培训项目进行评估。三是构建“上评”的评估主体。由省委组织部牵头，邀请各级党校、行政学院、有关培训机构的专家成立海南省干部教育培训项目评估工作指导委员会，负责组织、指导、协调、监督、检查全省干部教育培训项目质量评估工作。各市县党委组织部也可参照此做法，成立本级干部教育培训项目评估工作指导委员会。构建多元化的评估主体，既有利于培训机构及时查找整改问题，又有利于培训主管部门有效地加强监督管理。
（三）明确项目质量评估内容
“评什么”非常关键，就好像“指挥棒、方向标”，会对培训机构起到至关重要的指导、约束、监督作用。从培训项目的实际运作流程考虑，课题组认为应当按“培训设计、培训实施、培训管理、培训效果”四个大项分类来设计评估内容，并在此基础上设计“需求调研、培训计划、经费保障、教学内容、授课教师、培训资料、授课方式方法、教学设施设备、学员管理、项目管理、教学信息管理、学员学习成果、学员满意度、教师满意度、学员所在单位满意度”等15项评估内容。这些评估内容不仅覆盖培训的“教、学、管”全过程，而且是培训过程中的关键环节，可以真实地反映培训项目的全貌和质量等级。
（四）确定项目质量评估指标
指标是量化的标准，评估指标体系的设计是“评什么”的具体化，是评估的参考和依据，可以说是整个评估的重中之重。对照培训项目要评估的内容，可以将“培训设计、培训实施、培训管理、培训效果”作为一级评估指标，在此基础上分解出二级评估指标，并列出各项指标评估的要点和比分权重，将指标进行分解、细化。设计整体指标时，要着重考虑培训设计是否量身打造、合理可行，培训实施是否规范严谨、组织严密，培训管理是否科学有序、严格到位，培训效果是否达到预期目的，等等。
（五）建立项目质量评估机制
“怎么评”决定了培训项目评估工作开展是否能够正常、良性运转，是否能够达到预期的目标和效果。从工作机制上看，开展干部教育培训项目评估应抓好以下几项工作：一是正式出台评估办法。如可以研究制定《海南省干部教育培训项目质量评估实施办法》，对评估目的、评估范围、评估原则、评估时间、评估内容、评估组织、评估实施、评估结果等要素作出详细具体、易操作、实用性强的规定，为评估工作开展提供制度保障。二是组建评估队伍。根据上述提到的“自评、他评、上评”不同评估主体，由各级培训主管部门、培训机构、委托办班单位等组建评估团队，培训评估骨干，承担评估工作。三是开发评估软件。参照《海南干部选拔任用纪实监督系统》的做法，运用信息化技术创新评估手段，解决评估信息收集难的问题，扩大评估的覆盖面，以便了解全省干部教育培训有关信息，加强工作指导。四是保障评估经费。建议各级培训主管部门和培训机构应该将评估工作经费纳入培训经费的总盘子，列入年度财政预算，予以保障。
（六）用好项目质量评估结果
评估是手段，其目的是改进工作、确保质量。因此，必须解决好“如何用”的问题。课题组认为，为有效运用评估结果，应建立以下几项制度：一是结果反馈制度。无论是“自评”“他评”还是“上评”，评估结果都应该以适当的方式在一定范围内反馈，必要时可以下发文件进行通报，促进培训机构和相关部门就存在问题进行整改。二是整改帮扶制度。干部教育培训主管部门要认真指导培训机构研究评估结果，对好的方面予以肯定，对存在的问题要分析研究，提出整改措施。必要时可以在培训机构之间开展结对帮扶活动，促进共同提高，提升整体培训质量。三是激励约束机制。干部教育培训主管部门可以依据评估结果，对培训质量较高的培训机构给予不同等次的奖励，此外还可以在培训任务分配、资金划拨、科研立项、教师培训等方面给予优先政策。培训机构内部也可以将各个培训项目的评估结果，作为有关干部和教师年度考评、选拔任用、优秀评比的参考依据。四是建立回评督查制度。干部教育培训主管部门对评估中发现的问题，要责令培训机构及相关部门限期整改。对评估成绩较差、问题较多的培训机构要跟踪了解整改情况，必要时要“回头看”，进行二次评估；对存在问题依旧不改的，可以采用“约谈、督办、通报”等方式促其加大整改力度，确实整改不到位的，采取相应的措施取消其作为干部教育培训基地的资格。