四、指标评分标准
(一)评分标准制定原则
指标评分标准是对各项指标进行水平判断的具体规定,是评价计分或等级评定的准则。评分标准的设计从评价的功能和特点出发,遵循一定的规律和原则。一是评定标准的适度性原则。包括指标评分最低标准(基本合格)要达到评价要素符合性的基本要求,以及多数对象所能达到的水平;较高标准应根据全体被评对象的实际水平适当分开档次,有一定的区分度,以及最高标准要具有一定程度的先进性,要反映某一地区某一时期的最高水平。二是计分的等值性原则。不同指标的分数单位应该是等值的,从而保证指标系统内各指标的评价得分具有可加性。为此,必须合理地设计指标子系统直至各项具体评价指标的权重系数,在实际评价中经常使指标的“满分”兼表权重。三是评分标准的明晰化原则。指标评分标准尽可能明确而具体,一方面便于评价者操作,提高评价的一致性信度,另一方面有利于发挥评价的导向功能,使被评对象明确工作的具体目标。
另外,由于评价指标体系中各指标量纲不统一,不具有可对比性,应建立统一的衡量标度。出口消费品质量评价指标是由两种不同类型的指标组成的,即定量指标和定性指标,对于定性指标,上文给出了权重设计的评分标准。对于定量指标,为尽可能反映实际情况,排除由于各项指标的单位不同以及其数量级间的悬殊差别所带来的影响,必须对指标进行无量纲化处理
(二)指标评分标准设定
本项评价涉及的评分标准主要针对三级指标。在指标评价要素方面,根据指标本身内涵和评分数据的不同来源进行指标细分。本项评价指标评分数据主要来源有两种方式:由统计数据转换而来、通过问卷调查而来,不同数据来源的指标评价要素的设计有所区别。对于由统计数据转换而来的指标,其评分是从现有统计资料中直接查阅或转换获得,因此评价要素要求能够与统计数据对应,例如:行业质量事故投诉指标,可设置评价要素为投诉率,投诉率越高,得分越低。对于通过问卷调查而来的指标,其评价要素最终需要转换为具体的问卷问题,因此评价要素的设置需要综合考虑被访问对象的知识背景。
在指标满分设计方面,针对不同指标层级来设置不同的满分。三级指标满分为100分,一级指标和二级指标评分设置满分为1分。首先需要对三级指标进行归一化处理,将100分制转换为1分制,然后将1分制的三级指标评分进行逐级加权得到二级和一级指标得分。
在计分标准设计方面,要遵循适用性、等值性、明晰性等原则,根据评价要素的特征和数据来源的不同,设计具有明确等级的计分标准。对于由统计数据转换而来的指标,需要根据统计数据的数量情况,划分为不同的计分等级。对于评分通过问卷调查而来的指标,在指标所对应的具体问题中设计若干等级作为选项,并对每个选项或等级依据其对质量的正向影响程度赋予不同的分值,并以相关统计结果作为其代表值。
1.微观质量评价三级指标评分
表1-5为25项微观指标评分标准,表中评价要素与出口企业抽样调查问题相对应。
表1-5 微观质量评价指标评分标准
续表
续表
续表
续表
2.行业质量评价三级指标评分标准
表1-6为27项指标评分标准。行业(中观)质量评价的对象是行业,结合实证需求,我们将三级指标分解为具有可操作性的评价要素,在此基础上设计了27个三级指标所对应的问题,制定评分标准(100分制)。
表1-6 行业质量评价指标评分标准
续表
续表
续表
(本章执笔:华南理工大学公共管理学院硕士生杨新)