专题一 实证方法与理论创新
量化研究：衡量法治的尺度
田禾[1]
法治量化研究是法学实证研究最为重要的方法之一。十八届三中全会提出要“建立科学的法治建设指标体系和考核标准”，推动了法治量化研究的深入发展。自2009年起，中国社会科学院法学研究所项目组（后依托法治指数创新工程项目组、国家法治指数研究中心，以下简称为“项目组”）通过转变法学研究方法，引入量化研究模式，先后推出《中国政府透明度指数报告》、《中国司法透明度指数报告》、《中国检务透明度指数报告》[2]等若干学术创新的科研成果，产生了较大的社会影响、学术影响，推动了相关法律制度的完善和改进。
一 法治量化方法的基本要素
法治作为一个概念，包含两方面的内容，一是法律规范本身，一是法律实践。从规范演进角度追溯，法治又是一个历史概念，有自己的思想渊源和传承。在中西方法学家的生花妙笔之下，法或法治的内涵各有不同。人们乐于讨论法治的思想渊源，是因为历史上无数的思想家在法治方面有许多真知灼见，它丰富了我们对法治理论的认识，也逐渐将法治这种地方性经验演变成具有普遍认知的知识谱系。然而，仅在认识论上分析法治的本质和功能是远远不够的，因为这遮盖了法治的内在光芒，使之变成枯燥无味的规则教条。法治更重要的意义在于其首先是一种社会实践，是与社会相互作用的产物，从这种意义上说，法治不可避免地具有一定的地方性，是特殊性与普遍性相结合的产物。
从理论上说，法治有内在的逻辑和外在的边界，出其左右便不可称为法治。法治的前提条件是必须具备一套完善且符合人民意志的法律，这些法律应具有确定性且是公开透明的。法律的宗旨是保障公民的权利，限制公权力机关的权力。在法治社会中，权力机关应依法立法，行政机关依法行政，司法机关依法独立行使审判权和检察权，一切社会组织和公民个人依法享有权利并履行义务，公民的权利在受到侵害后能够得到及时充分的救济，要做到法律实施公正无偏，法律面前人人平等，等等。[3]所有这一切都说明，法治不是制定几条规则便万事大吉，法律的制定不仅要符合社会的实际，制定出来以后还应该满足和适应社会的实际需求。
如何判断法律是否符合社会实际，如何判断法律是否得到严格执行，这需要法律共同体的集体意志和作用，其中，法学研究具有极为重要的作用。通过对各项制度运行的监测和效果的研究分析，人们可以对制度进行评估，并提出修改的建议。但是，应当注意的是，传统的法学研究方法难以完成这样的重任，因为其倚重于规范分析、逻辑演绎、推理论证，它将与实践有天然联系的法治剥离成一种宏大叙事体系。在这一体系中，概念、体系、理论成为至高原则，其中的血与肉逐渐枯萎，变成可以忽略不计的细枝末节，即便是实证研究，在很多情况下也只是局限于个案分析，或者座谈访谈。法学量化研究则与前述方法有着较大区别，其从细微处入手，更看重制度运行中的数据表现。
法学定量研究是应时代召唤而生的。在信息化时代，数据产生、收集和运用成为许多行业决定胜负的重要因素，从某种意义上说，数据是人类至关重要的社会资源。数据，特别是大数据[4]的产生改变了我们感知世界的方式，从感知个体的、局部的、周边的环境，发展为感知更为宏观的世界。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。[5]所有的决策行为都将日渐建立在数据分析的基础上，而不是建立在传统的经验和直觉基础上，习惯于靠“差不多”来管理社会的方式也随之发生巨大的变革。正如人们所说，没有数学，我们无法看透哲学的深度；没有哲学，人们也无法看透数学的深度；而没有两者，人们则什么也看不透。数学和哲学提供了社会科学研究的两种方法，其不是相互割裂，而是相辅相成的。
量化研究是自然科学的天然伴侣，曾经对之加以排斥的社会科学也逐渐对量化研究方法张开了欢迎的双臂。国际上一些著名的研究都采用了量化研究方法，特别是指数方法。指数是一个统计学上的概念，一般是指在统计中反映某一时期某一社会现象变动情况的相对指标。国内也有很多学者将量化和实证研究的方法引入了法学研究。法治指数是衡量法治发展状况的重要尺度。法治指数是用模型和指标体系对法治发展状态进行量化评估的一种数据结果，其通过对相关数据的再造和重新解释，不仅能全面总结法治发展取得的成就，而且能对所存在的问题一目了然。
法治指数具有高度创新性。从研究内容看，法治指数创新了研究领域，其具有跨学科、跨领域、高度开放性的特点，并涵盖了法治的方方面面。从研究方法看，法治指数以数据为基础，以民意测验为辅助，构建了一套易于理解、能够客观展示法治全景的国家与区域指数和指标体系。法治指数重视对法律制度运行状况的评判，强调客观性，排除任意性，评价体系和标准严格依据法律。此外，法治指数还注重数据筛选、指标设计与赋值的专业性。从研究成果来看，法治指数以数据的方式说明法治发展的成绩和存在的问题，较为客观地反映了社会正义和秩序的实现状况，创新了研究成果的形式。[6]
法治指数对推动法治发展和法学研究都有非常重要的意义，其完善了法学研究的理论和方法体系，推动了法治社会和人权保障机制的建设，打破了境外对法治评级授信的垄断地位。
二 司法透明度个案分析
（一）评估意义和作用
司法是有权机关依照法律法规、遵循一定程序处理案件、定纷止争的行为。司法机关在处理各类案件时，应做到法律实体和程序双重正义，实现宪法确定的人民主权原则及法治原则。司法公开是实现公平正义的制度保障，也是司法规律的必然要求。司法的终极目标是依照法律程序，以事实为基础、以法律为准绳实现社会正义，这决定了司法活动必须遵循司法公开的原则，而不能“私相授受”。司法公开是推进司法公正的有效途径，也是人民法院必须严格遵循的一项宪法原则。司法公开可以使公众最大限度地了解司法权力的运作方式和运行结果，参与司法活动，监督司法活动，从而有效地消除猜疑，使司法正义变成看得见、摸得到的正义，最终实现提高司法公信力、维护司法权威的目标。
司法透明度指数是法治指数的重要内容。司法透明度指数是通过对相关数据的再造和重新解释，用指标体系对司法公开状态和制度运行状况进行量化评测的一种数据结果。
司法透明度指数对推动中国的司法制度建设意义重大。它不仅提升了法学研究的广度和深度，也推动了法治社会和人权保障机制的建设。科学的指标体系和评估结果能够准确地揭示出法院司法过程中在人权保障方面的成就和存在的问题，明确发展的方向和应当采取的改进措施。司法透明度指数还打破了境外对法治评级的垄断，在掌握话语权上更加主动。不可否认的是，改革开放以来，中国的法治建设取得了很大的进步，但法治话语权一直处于旁落状态。司法透明度指数直观可见的分析，有利于有关部门把握法治话语权。同时，司法透明度指数也为法院提供了客观、简明、精确的参考依据，成为检验各级人民法院司法是否公开透明的一项重要标准。[7]
（二）评估方法与路径
司法透明度指数的研究方法有别于传统的法学研究方法，其从细微处入手，更看重制度运行中的数据表现。司法透明度指数是第三方评估机构对法院司法公开成效进行评估的成果，是司法公开监督的一种创新。从2011年起，项目组开始对全国高级人民法院和较大的市的中级人民法院的司法公开进行评估，2013年将最高人民法院的司法公开也纳入评估范围，发布《中国司法透明度指数报告》。
在评估方法上，项目组研发出一套指标体系，对法院的司法公开工作进行评估。指标体系以法律为基础，同时参考司法解释、司法相关文件。近年来，司法公开一直是司法体制改革的重要内容。最高人民法院先后多次下发推动司法公开的规定，包括《关于严格执行公开审判制度的若干规定》、《关于人民法院执行公开的若干规定》、《关于加强人民法院审判公开工作的若干意见》、《关于进一步加强民意沟通工作的意见》、《关于司法公开的六项规定》、《关于确定司法公开示范法院的决定》、《关于人民法院在互联网公布裁判文书的规定》、《关于推进司法公开三大平台建设的若干意见》、《关于公布失信被执行人名单信息的若干规定》等。上述文件均是指标设计的重要依据。同时，项目组设计指标时，还立足于中国各地法院司法公开实践，参考域外司法公开经验，并广泛征求了法官、律师、学者的意见。
中国司法透明度评估侧重于对各级人民法院门户网站的评估，形式评估多于实质评估。[8]中国司法透明度指数的板块分为四部分，即审务公开、立案庭审公开、裁判文书公开和执行公开。法院网站是信息公开的第一平台，因此中国司法透明度评估主要通过各级人民法院的门户网站进行数据采集，辅助以电话验证的方式。
（三）评估的原则
项目组依照以下几项原则制定上述司法公开指标体系。
第一，依法设定评估指标，指标具有法定性。《宪法》第125条，《刑事诉讼法》第11条、第183条、第274条、第196条，《民事诉讼法》第10条、第134条、第148条、第156条，《行政诉讼法》第6条、第45条，以及前述相关司法文件均是两个指数的法定依据。司法透明度指数评估意在评价法院落实司法公开工作的现状、分析其存在的问题，只有做到于法有据，才能避免评估成为无源之水、无本之木。
第二，客观中立。项目组在设计司法透明度指数指标时，注意把各种价值判断转化为明确且无自由裁量空间的标准。所有的指标设计都只允许评估人员判断有或没有，如某一类信息是否公开了，而不是去判断它公开得好不好。只有这样才能保障评估结果不受评估人员主观好恶的影响。项目组评估时不受任何法院的干扰，有异议可申诉，但须言之有据。
第三，评估指标具有可操作性。所有的指标均有数据来源，且数据真实可靠，因为只有这样，最终的评估结果才是可信的。
第四，评估指标重点突出。司法公开的内容较多，涉及司法权运行的各个环节，对其全部进行评估不现实且会迷失重点。因此，评估立足于信息化环境下推进司法公开的要求以及公众对司法公信力的期望，将立案庭审、裁判文书、执行信息和审务信息公开作为评估重点，因为这四方面是司法的核心内容，与当事人密切相关，也是公众最为关心的司法信息。
（四）2015年中国司法透明度指数评估概况[9]
评估对象为81家法院，覆盖最高人民法院和31个省、自治区、直辖市的高级人民法院以及《立法法》修改前的49个较大的市（省、自治区的人民政府所在地的市，经济特区所在地的市和经国务院批准的18个较大的市）的中级人民法院三个层次。评估对象不包括基层人民法院（评估指标见表1）。
表1 2015年中国司法透明度指标体系
表1 2015年中国司法透明度指标体系-续表
81家法院司法透明度指数的平均分为56.52分，30家法院得分在60分以上，占比为37.04%。排名前二十的法院依次为广州中院、宁波中院、成都中院、北京高院、浙江高院、石家庄中院、深圳中院、海口中院、吉林高院、杭州中院、上海高院、广西高院、吉林中院、四川高院、南京中院、最高人民法院、湖南高院、福建高院、江苏高院、安徽高院。
评估中发现以下亮点。（1）司法行政信息更加透明。司法行政信息包括法院的人事、财务等信息。相对审判、文书、执行公开，司法行政信息尽管不是司法公开的主流，但也是提高法院司法透明度的关键环节，对于保障公众知情权及监督审判、执行权的运行意义重大。（2）审判、执行公开有重大创新。越来越多的法院提供了旁听预约服务，有的法院实现了电子卷宗的公开，有的法院公开了执行惩戒信息。（3）裁判文书不上网数据公开取得突破。广州中院按月、按年度公开了广州市两级人民法院裁判文书上网情况，并公开了不上网裁判文书的数量和理由。吉林中院公开了不上网文书的数量和理由，海口中院公开了一例不上网文书的案号和理由。（4）部分法院重视公开司法统计数据。司法统计数据的公开是一级指标。评估结果显示，部分法院较为重视司法统计数据的公开，数据主要体现在法院工作报告、专题报告[10]、年报[11]中。
评估中也发现如下问题。（1）公开平台分散、重复建设的问题突出。由于网站太多，部分网站沦为“僵尸网站”；平台的政务、公开、服务功能割裂，不少法院在门户网站上开通司法公开平台、诉讼服务网，平台之间功能交叉、叠加，同一项司法信息需要同时上传到不同的平台，增加了信息公开的成本；政务网站与专项平台缺乏整合，最高人民法院建有不少专项信息公开平台，如中国裁判文书网（www.court.gov.cn/zgcpwsw）、中国审判流程信息公开网（www.court.gov.cn/zgsplcxxgkw）、全国法院被执行人信息查询（zhixing.court.gov.cn/search/）等十几个专项信息公开平台。专项司法平台有助于专项信息在全国或地方范围内集中统一发布，为公众提供一站式服务，但地方法院与全国专项平台无链接的现象普遍，信息缺乏整合。（2）部分信息不够准确。首先，公开的信息未及时更新。以诉讼指南为例，随着法律文件的修改，诉讼指南应该及时更新，但是不少法院的诉讼指南未及时更新。其次，信息录入不准确。最后，技术故障导致数据信息瑕疵。（3）数据公开尚处于初级阶段。法院普遍不重视年报的公开，有79家法院未公开年报，占评估对象的97.53%；白皮书、专题报告的公开率偏低，仅有22家法院公开了专题报告或白皮书，占评估对象的27.16%；案件统计数据公开不尽如人意，仅有17家法院公开了案件统计数据，占评估对象的20.99%。
三 法治量化研究的未来发展方向
由司法透明度个案来看，法治量化研究显然具有非常积极的意义。作为一种研究方法，不管人们承认与否，法治量化研究实际上对法学理论作出了贡献，而且对法治本身的贡献更大。但是，法治量化研究也有一些值得注意的地方。
（一）法治量化研究是经时济世的学问，目标是推动法治的进步
以项目组的指数研究为例，量化研究在各级人民法院和学术机构已经有了十分广泛的影响力，但是在推动制度完善方面还需要努力，使每一项研究都能切中时弊、发挥作用。这体现在指标设计应当既有评价的客观功能，也有发现问题、不足的监督功能，还有鲜明的引导、预测、修正等建设性功能。
（二）强化研究中立的思维，排除外界及被评估对象的干预至关重要
评估主体的中立性是评估结果客观、公正的最基本前提。在评估体制上，应以独立的第三方评估为主。首先，应由第三方主导评估而非国家机关自我主导。其次，第三方应当独立自主，而不应被上级机关、被评估对象过多干扰。从域外看，几大有影响力的法治指数往往由政府机构以外，并不隶属于任何政府的民间组织来制定。
（三）量化研究具备必要的学术和人文关怀，防止被技术理性和工具理性所支配
一是在评估指标的设置上，应兼顾全面性和重点内容，既立足现有制度规范又有适度前瞻。既要避免将各个被评估对象都已经做到的规则作为主要评估指标，又要避免指标陈义过高而“逼良为娼”，迫使评估对象作假。另外，还应妥善设置客观性指标与主观性指标（如满意度、幸福感）的权重分配，避免主观性指标在评估中的变形走样。即便评估中采取了民意调查，或者其他方式的公众参与，评估结果依然难以取信于民。
二是兼顾评估指标的连续性与灵活性。缺乏连续性的评估，年度纵向之间缺乏比较的可能；但指标缺乏灵活性，则必然走向僵化，进而流于形式。因此，如何兼顾连续性和灵活性，对指标设计者提出了高层次的要求。
三是找到真正有关联的数据和事件，以对制度执行、政策落实情况作出准确的判断。如实践中，有的地方在评价公安机关工作成效时将刑事案件发案率作为评价指标，发案率高固然可以说明公安机关工作量大，但也可以说明当地治安管理水平不高、安全防控有漏洞，而发案率低则既可能是因为当地治安管理水平高，也可能是因为公安机关侦查能力不高导致一些案件尚未被发现。又如，有的地方把腐败案件查处数量作为评价党风廉政建设情况的依据，却忽略了腐败案件查处数量很难孤立地反映廉洁程度，因为查处数量多固然可以反映纪检监察部门尽职尽责，但也说明当地惩防体系建设存在漏洞，查处数量少则也有可能是因为腐败案件越发隐蔽暂时还难以发现。因此，科学地选定可以真正反映法治发展、制度执行、政策落实情况的数据、事件是做好第三方评估的关键。
四是兼顾地方性与普适性。中国法治指数的实施，表现出强烈的地方性创新与突破色彩，其指标体系也呈现出区域化特征，既有省一级的指标体系，也有地市级、区县级的指标体系。地方创新已成为中国法治指数实践的鲜明特色。有理由预期，今后中国的法治量化工作要想在相当长时间内仍保持这种地方创新的特征，既要有普适性的指标，更要有凸显地方特色的指标；既要有适用于各个层级的一般性指标，也要有适用于地市级、区县级、各个部门机关的特殊指标体系。因此，法治指标体系必然带有多元性、区域性，这也是针对不同评估对象的属性、特征所内在要求的。
五是评估指标的设置与修订应兼顾公众意志、公众需求的主观性与法治自身规律的客观性。一方面，不能体现公意的评估指标，再完善也不过是空中楼阁，仍可能遭到公众的抛弃。法治的评估，需要充分考虑公众的法感情和法需求。因此，闭门造车的指标，不能适应社会需求。另一方面，法治的公平正义、公开透明、平等可预期等要求，也带有普遍性和客观性。以满意度调查来评估法治，显然过于简单，无法适应胜诉方与败诉方、执行难与顺利执行的精微情感需要。必须意识到，传统社会抽样调查关注的是抽样对象主观感受，尽管主观感受一定程度上能够反映客观真实性，但任何抽样调查的统计结果都不等于客观真实性。以问卷调查为例，调查样本越具有代表性，满意度的评估越真实；而样本的代表性取决于各类使用者的特点、问卷的选项和问卷对细节要求的程度。显然，评估方式完善永无止境。对此需要强调的是，地方法治指数在相当长的一段时期内，应当考虑根据客观数据（包括官方权威数据，以及项目组自行调研的实证数据），利用客观的方法进行分析，以保障指标的中立性、科学性和客观性。
六是评估指标和评估结果并不是密闭于系统内部孤芳自赏的，而应向社会各界开放。其开放既有利于提升指数评估的科学性与可信度，也有利于社会各界予以检验、比较。而无论是上级评估还是被评估对象自我评估，评估所依据的信息、素材往往是国家机关内部工作的文件、材料。加上评估指标、评估结果未能充分公开，社会公众、学术科研机构往往无从检验、比较。
七是要避免评估的“材料审”。各级公权力机构的传统评审方法是上报材料，由同级或上级部门根据材料评审其优劣情况。目前，一些评估也停留在“材料审”上，由各地政府上报“先进事迹和材料”，由这些机构组织专家对上报材料进行审议，评出先进，颁发各种奖项。为了获得各种创新奖，某些地方政府趋之若鹜，每年都会向一些机构上报材料，拉关系，走后门争取获得奖项。目前，这些奖项已经太多，除了某些地方政府用于自吹自擂，在群众中少有公信力和影响力。“材料审”最大的弊端是材料写得好坏直接影响到评审的结果，而其未必能反映真实的工作情况。正确的做法是依法制定科学的指标体系，对该部门是否完全落实了法律或相关政策的要求进行评估、对日常工作进行评估，材料仅仅用于辅助。这种方法虽然人力、财力投入较大，但是其评估能列出问题清单，结果真实可靠，对工作具有实际的推动作用，因此应当是评估的主要方法。
（本文原载于《中国应用法学》2017年第1期）
[1] 田禾，中国社会科学院国家法治指数研究中心主任、法学研究所研究员、法治蓝皮书主编。
[2] 截至2018年3月，《中国政府透明度指数报告》已经连续发布9年；《中国司法透明度指数报告》连续发布7年；《中国检务透明度指数报告》连续发布6年。
[3] 参见李林等《构建和谐社会的法治基础》，社会科学文献出版社，2013，第9—10页。
[4] 大数据具有四个特征：一是数据量大，大数据的起始计量单位至少是P（1000T）、E（100万T）或Z（10亿T）；二是数据类型繁多，其包括网络日志、音频、视频、图片、地理位置信息等；三是数据价值密度相对较低，如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低；四是处理速度快，时效性要求高。这是大数据区分于传统数据的最显著的特征，参见武峰《大数据4V 特征与六大发展趋势》，http：//cn.chinagate.cn/news/2015-11/16/content_37074270.htm，最后访问日期：2016年12月6日。
[5] 〔英〕维克托·迈尔·舍恩伯格、肯尼思·库克耶：《大数据时代》，盛杨燕、周涛译，浙江人民出版社，2013，第94页。
[6] 田禾：《法治指数及其研究方法》，《中国社会科学院研究生院学报》2015年第3期。
[7] 田禾：《司法透明度指数及其研究方法》，《中国法律》2014年第4期。
[8] 与中国社会科学院法学研究所自行开展的中国司法透明度评估不同，浙江法院阳光司法指数在方法上更为综合，不仅有网络线上评估，还有实体线下评估。
[9] 参见中国社会科学院法学研究所法治指数创新工程项目组《中国司法透明度指数报告（2015）——以法院网站信息公开为视角》，载李林、田禾主编《法治蓝皮书：中国法治发展报告No.14（2016）》，社会科学文献出版社，2016，第223—246 页。
[10] 深圳中院在审判执行白皮书栏目公开了涉及知识产权保护、行政审判、未成年人刑事审判、破产审判、劳动争议审判等领域白皮书。
[11] 年报（Annual Report）最早起源于企业，是企业向股东及其他利益群体提供企业经营活动和财务状况的年度综合性报告，上市公司的年报须向社会公开。不仅企业，越来越多的公共机构、机关团体也开始编制和公开年报，向社会介绍和展现其业绩。与工作报告相比，年报的内容更加全面、综合。