一、为什么强调实证研究
尽管实证研究或者说经验研究属于常规的社会科学方法，但在当前中国的法学研究中倡导这样的方法，仍然具有相当的学术价值。不论是否有理论提升，实证研究至少可以提供一定的经验材料，因而有所贡献。
关于司法实证研究的实践意义，可以举司法改革为例。中国二十余年来的司法改革大多遵循一种政治逻辑，这种逻辑渗透并主导着司法改革的决策、实施、评估和纠偏等环节。从决策来看，司法改革往往源于政治上的考虑而非系统、科学和深入的研究。例如，2003年8月最高人民检察院推出的人民监督员制度，就是检察院为追求在政治体制中更巩固的地位和话语权，特别是与法院围绕着司法改革中彼此地位的变动而互动博弈的产物。 [①]从实施来看，司法改革往往被当作政治任务来完成。从评估来看，几乎所有的司法改革都会被政治话语评述为取得了良好的效果。从纠偏来看，尽管司法改革产生过不少偏差，但由于种种原因尤其是“政治”原因，中国目前尚无专门的司法改革纠偏机制。因此，司法改革常常是推行时红红火火，但往往不久便停滞不前，或不了了之，或领导换届后推倒重来，或明知有误仍坚持不懈。总体上，二十余年来的中国司法改革取得了一定的成绩和经验，但积累更多的是教训。
导致司法改革效果不理想的主要原因：一是司法改革决策-实施-评估-纠偏的机制存在较大缺陷；二是推行司法改革赖以支撑的信息不足。后者往往源于司法改革的推动者不了解司法实践及其需求，没有对司法制度进行扎实研究尤其是实证研究，往往不清楚如何做正确的事和如何正确地做事。司法改革需要从政治逻辑回到事物本身的逻辑，需要建立科学的决策-实施-评估-纠偏机制，应当从摸着石头过河到加强理论指导，探索科学的司法改革方法，这些都必须以获取充分的信息为基础。作为司法改革基础的信息主要包括两大方面：一是中国司法运作的现实状况，诸如目前某项司法制度运作的状况、问题何在、如何改革；二是法治国家的经验。因此，基于了解中国问题、推进司法改革的现实需要，必须加强司法的实证研究。
可喜的是，法律的实证研究近年来在中国日益受到重视，但令人忧虑的是，又出现了盲目追求的趋向，实证研究似乎成为一股“潮流”。许多学人纷纷走向田野，做问卷、阅卷、抽样、访谈、座谈，文章一开篇就讲故事，而不考虑实证方法的必要性和科学性，有些人甚至不了解什么是实证研究，以为在网络上搜索一些数据或者从司法部门获取几项资料就算是实证研究了，他们不了解社会学、人类学、政治学、经济学、统计学等基础知识和社会调查方法，因而出现不少误区。在目前大多数自称为实证研究的法学文献中，在绝大部分声称运用了实证研究方法的法学博士或硕士学位论文中，这些误区都较为普遍地存在。
为了走出误区，强调科学的实证研究，提升实证研究的方法与技术，为了回应并推动中国近年来法学研究的实证潮流，促使法学研究更多地面向实践，关注中国问题，进而推动司法改革的试点及其制度创新，有必要对法律实证研究的误区、方法与技术进行系统讨论。
本文以司法制度的研究为例，因而可以更狭义地将主题理解为司法实证研究的误区、方法与技术。相比其他法学领域而言，司法制度更要强调实证研究，因为司法是法律从规范向事实、从静态向动态、从书本向行动转化的核心环节，利用实证方法观察和分析司法的运作过程，是最有可能产生原创性研究的路径。当然，本文讨论的问题也在很大程度上适用于法律的实证研究。
二、实证研究的方向性误区
方向性误区是目前司法实证研究中最大的问题，它集中体现为理论与实践的脱节，包括两种常见的类型：一种是纯叙事，即故事脱离理论；另一种是过度的理论，即理论脱离故事。其共同特点就是理论与实践“两张皮”。
(一)纯叙事
故事不会自动成为理论，纯粹的故事只是一种文学。中国目前声称为实证研究的法学文献，绝大部分只能算是调查报告，就事论事，几乎没有理论贡献。其大概的模式是：先介绍调查目的、方法和过程，然后陈列各种令人眼花缭乱的数据和材料，偶而讲些奇闻逸事来缓和枯燥感，至多为表明理论上的努力而稍有牵强地引用些抽象概念或学术文献。
倘若没有理论提升，田野调查即便再艰辛，也只能算是“挖野菜”，田野调查者因此只能称作调查者而非研究者。例如，《大河移民上访的故事》的理论部分置于文末或注释中，而如果没有这些理论，该书就不可能是一部成功的社会学作品。实证研究中的故事绝对不是小说或报告文学，而必须从“小说式的故事”迈向理论。实证研究者不仅仅是一位“事实”的描述者，而且应当通过调查研究实现理论的建构和贡献。提炼核心概念，抛出理论假说，提出重要命题，运用多元方法，建立理论框架，描述理论模型，运用理论解释，检验理论真伪，展开理论对话，拓宽理论张力……用这些来统驭广泛的材料和无穷的细节，把“微妙”的故事和细节整合到宏观结构上去，通过微观与宏观的结合来解释制度变迁与社会现实，进行预测，并为进一步调查研究提供理论支撑和观察视角，最终实现对“实践”的超越。
因此，在实证材料的基础上，构建一个通盘性的理论对于研究价值的提升十分重要，因为理论能够以最简单的概念和框架对社会生活中广泛、复杂、多变的现象做出更一般性的解释和预测。正如苏力所言，“理论追求的是解说力和预测力，以及在此基础上的人的能力的扩大”。{1}
(二)过度的理论
尽管可以从多角度进行描述、分析和理论建构，但实证研究应恰当地把握经验材料与理论的关系，过度的理论不仅会使研究丧失“实证”的名份，更会削弱理论本身的份量。这一误区大致包括两种情况：
1.来自司法实践的理论爱好者
当前法学研究尤其司法制度研究领域中来自司法实践的成果越来越多。这些成果有一个突出的特点，即司法人员非常喜欢探讨一些理论问题，甚至玄学级问题。一些爱好理论的司法机构的领导，一些设法获得博士学位或博士后经历的司法干部，在此方面尤其突出，并对所在司法机构的其他人员形成了示范效应。不少司法机构也倡导司法人员进行理论研究，甚至利用行政方式作出要求或进行表彰。
许多法官、检察官、律师不去挖掘自己熟悉的经验材料，反而追求理论，言必称希腊、罗马、尼采、福柯、布迪厄、哈贝马斯、波斯纳、德沃金……他们大概认为对自己掌握的经验材料的研究出不了“理论成果”。事实上，对于法官怎样审案判案，检察官如何反贪和起诉，律师维权的艰辛与技术，诸如此类的司法实践，民众及法律学者都拥有极大的兴趣。这样就形成了一种“围城效应”。你站在桥上看风景，看风景的人在楼上看你，倒不知是谁看谁。从司法人员的内部视角所观察得来的这些经验材料，其实具有相当大的研究价值。这些司法实践中的理论爱好者只要调整方向，以亲身获取的经验材料为基础，适度地运用一定的理论和方法，就完全可能作出既有实践价值也有理论意义的学术贡献。
2.学者的“理论情结”
当前中国法学研究的路径大概包括理论法学、对策法学和社科法学三类。理论法学的特点从理论到理论，规范法学、法解释学、比较法学、法哲学基本属于此类；对策法学的特点是从实践到实践，或者运用一定的理论和比较法材料提出政策建议；社科法学的特点是运用社会科学方法来研究法学问题。理论法学的许多学者，社科法学的部分学者，都存在迷恋理论的倾向。我将这一倾向概括为学者的“理论情结”。
具有“理论情结”的学者往往追求理论——更多的理论和更大的理论。这些学者在从事实证研究时，时常会出现理论过度的问题。他们名为实证研究，其实只关心理论建构，从而实际上忽视了对实证材料本身的描述和分析。他们所看重的其实并非实证，而是所谓的理论框架。理论建构才被他们视为真正的贡献，因而也是他们追求的主要目标。在“理论情结”的暗示或支配下，理论建构有时难免会蜕变为追求一种使简单问题复杂化、常识问题精致化的技术。正因为此，现在人们已经很难读到费孝通先生那样以平实语言分析深刻道理的文章，林达是近来少有的例外 [②]。在他们那里，所建构的理论与实证材料不太容易彼此融合，理论往往过于有“张力”而可容纳广泛的事实，调查数据其实是可有可无的，或者可以是A也可以是B，甚至先有“理论”再到实践中找“材料”，数据、材料、故事有可能会变成理论的附庸，一种点缀，一个装饰，其本身无关紧要。
实证研究不可无理论支撑，但过分追求理论，陷于理论情结，有可能导致理论与实践的隔阂，实质上蕴含着反实践的危险倾向。特别是对于传统上属于“技术人员”的司法领域的学者来说，“理论情结”无疑是一粒危险的种子。尽管我们不应过于局限于技术性的规则设计，但或许，也不应当走向另一个极端。在实证调查的基础上，如果可能进行理论建构，当应顺其自然，努力为之，但不必勉强，更不必为理论而理论，既要超越“实践”，更要回到“实践”。因此，对于从事实证研究的司法领域的学者来说，最优选择也许是追求一种紧紧围绕实践的理论，扎根于司法实践之中，然后在实证调查的基础上顺其自然地提炼理论，而不必刻意地追求理论化。实证研究从经验开始，以经验为基础，经验的重要性至少不低于理论。概言之，从事实证研究，应当避免“理论情结”。
三、实证研究的技术性误区
在具体的技术性操作层面，司法的实证研究也存在较多误区。本部分试图以三项实证调研为例，对实证研究在技术方面的误区作些归纳，并提出改进的建议。这几项实证调研涉及不同级别的法院，具有不同的调查主题，使用了查阅案卷、问卷调查等多种调查方法，由此大致可以揭示当前司法的实证研究在技术方面存在的主要误区。需要指出，由于调查面对的情况复杂多样、调研遭遇的问题很可能超出预期等原因，某些技术性误区在调研中往往较难避免，但事前周密的调查设计、调研策略和方法的及时调整等一般可以化解或回避此类问题。因而，以严谨的态度揭示出实证研究的技术性误区是非常重要的。
(一)《信仰中的危机：人民法院公信力现状实证调查报告》
这是某法院一项有关法院公信力的实证调查，主要采用了问卷调查的方法。报告很有价值，但也存在不少技术性问题。这些问题在问卷式实证调查中具有共通性，故稍作归纳，指明应尽量避免的误区。
1.某些问题不适合采用问卷调查
例如，针对法官的素质现状，采用问卷方式就法官的学历、业绩、知识结构、学术成果等进行调查{2}15～18就是不必要且不合理的：首先，这类客观数据完全可以通过查阅档案获得；其次，公众认识、了解法官的机会与渠道很少，其评价往往局部、片面，而且还受被调查者的职业、身份、地位甚至某一次诉讼输赢的影响，故这种映像式的调查结果也因违背客观中立的初衷而不可取。又如“法官及书记员对所在法院法官类型看法”的调查，{2}6～8其选项“经验型的、学术型的、以上两者皆有、说不清楚”也存在同样问题：首先，法官这一职业是当然具有经验的；其次，是否“学术型”法官，通过查阅法官发表的学术文章能够得到确切答案，两者皆无需调查。再如报告第二篇中就法院管理对公众进行的一系列调查，由于绝大多数社会公众没有或较少亲历诉讼，对诉讼进程了解不多，对法院的内部管理更是知之甚少，故相关调查，如“立案审查手续给你的印象”，{2}109也显得没有必要。
针对以上这类问题，采取其他方式较问卷调查更为合理。例如，利用客观数据来描述法官的学历、业绩、知识结构、学术成果等信息，将更为明确、具体，更有说服力。同时，还可辅以其他调查方式，多角度、多层面、立体化地展现法官素质的状况。
2.某些问题无需调查
首先，有些问题通过常识判断即可得出答案。如“公众希望法官具有较丰富的司法经验与社会阅历”这一结论{2}10无需问卷调查即可得出，因为就一般人依据常识都知道“法律的生命在于经验”，司法更是如此。“知识与经验兼备，且具备相当社会阅历的中年法官更受信赖”{2}127也可据常识得出。其次，某些问题本身没有意义或现实中不可能。调查“公众认为最适合当法官的年龄”{2}10～11就是一例。事实上，年龄与是否适合当法官并无太大联系，知识、经验、良知才是最值得考量的因素，即使强调年龄与经验积累的关系，那也一般是年龄越大经验越多，无需调查。又如“公众更多选择哪类法官解决纠纷”{2}12这一问题在目前不具有现实意义，因为当事人根本就没有选择法官的权利或可能。又如，“你有事找法官，通常能够比较顺利地找到吗”{2}119，将法官的易见性作为司法易接近的一个方面，本身就不妥，因为法官易见与法官中立会存在紧张甚至冲突。调查“你知道法院有多少个具体部门及各部门的具体职能”{2}302也没有太大意义。就男女性别对司法的认知、理解和信任程度的调查{2}347也无必要，因为性别差异不是造成信任程度差异的因素。
3.出题不科学
出题的科学与否，直接关联到调查结果的科学与否。但是，问卷调查中经常出现出题不合理的情况。如“你认为老百姓与政府打‘官司’能赢吗”{2}222，“基本能赢”和“基本不能赢”这两个选项易将被调查者引入官民力量的对比而忽视司法中立的存在；对法官“你日常与律师接触频繁吗”，{2}228这一提问旨在调查两者“勾兑”的可能和程度，但设问显然不严谨，因为两者属于同一职业群体，接触是必然，特别在当前中国的情况下，而不能说明什么，其实调查重点应当是两者接触的原因而非频度。又如询问律师与法律工作者“你代理的案件当事人申请法官回避，一般是否得到准许”{2}231，这是欠缺前提的，因为是否准许回避申请应当有法律或事实依据，而不能一般性地讨论。
4.(问卷)选项中的“标准答案”
“标准答案”即调查问卷中可选性极强、几乎公认为正确的选项。一方面，这类选项会极大地削弱其他选项的被选几率，导致调查结果不能完整反映现状，意义降低。如“公众希望的法官类型”，{2}4其设置的选项有：“年轻的有系统专业知识的法官、年老有经验的法官、既有专业知识又有经验的法官、都可以”，其中“既有专业知识又有经验的法官”自然是首选。又如“法官及书记员认为理想的法官”，{2}25选项“业务精通、刚正不阿、执法如山”的被选几率也自然最高。在“您认为法官的庭审语言应当如何改进或加强”的调查中，{2}252两者兼顾的“法律专业强，同时应当进行通俗化解释”当然是最佳选择。另一方面，“标准答案”的出现还会模糊年龄、文化程度、职业、地区等因素可能造成的影响，导致在此基础上做出的区分丧失意义。仍以“公众希望的法官类型”的调查为例，结果显示，被调查者无论是30、40或50岁，无论是高中、本科或研究生，无论身居东部或西部，无论职业如何，都一致趋向于选择“既有专业知识又有经验的法官”，且比例相当。即使各因素显示的比例存在细小的差异，这种不超过5%的差异在统计学上也没有任何值得比较的意义。因此，调查问卷的设计应综合理论、经验以及对结果的合理预期，尽量保证选项间的平行性，避免“标准答案”的出现。
5.选项重叠交叉
问卷设计应避免选项的意义相同、相近或交叉，否则会导致问卷难以清晰地反映某一问题。如“公众认为法官是否应在社会上交往”的调查中，{2}44“不应当广泛交往”与“应与社会保持一定的距离”两者几无区别；“公众认为影响法官公正裁判的最大因素”的调查中，{2}48～49“地方保护主义”与“领导干预”也存在重叠；“公众对法官与当事人接触的看法”的调查中，{2}57“无所谓，相信法官会公正裁判”与“没关系，很正常”之间的区别也很模糊。
6.选项内涵模糊
这是问卷调查中经常出现的问题，会造成被调查者的困惑、乱选，进而损及调查结果的准确性和可采性。如“法官及书记员对所在法院法官类型的看法”{2}8中提出的“学术型”，其基本内涵和评价标准很难确定；又如“公众对法官形象整体评价”的调查中 {2}28～30，“同其他机关工作人员差不多”也是一个无明确所指的选项，难以得出公众对法官印象的好坏；在“公众认为影响法官形象最大的因素”的调查中{2}34～36，“职业共同体成员”指哪些人？公众对此无法准确把握。问卷调查本来就蕴涵或允许一定程度的主观性，但其内容和选项应是明确、清晰、易懂的，如果不能保证这一点，被调查者依据各自理解所做的选择或回答就可能更主观甚至造成严重偏差。当然，有些情况是难以或不能明确界定的，对这类问题，宜采用其他方法而非问卷来进行调查。
7.选项不周延
当选项设置不周延、不平行，不能涵盖问题所指的所有或主要情形，结论就无法完整、合理地反映现实。如“您对法官职业的基本评价”{2}324，“很神圣、需要专业知识、就是国家公务员、谁都能干”这四个选项就欠缺平行性，不能完全囊括公众对这一职业的看法，调查得出的结果也不易甚至不能进行比较。又如“法院当前的一系列改革最让你满意的是什么”{2}212中，“法院办理案件中的电脑化管理”仅仅是法院提高司法效率的努力之一，而且属于细节问题，与其他选项如“法院办理案件的透明度加强”之间不具有平行性。
8.选择方式设置不当
常见的问题是单选和多选之间的关系。如“法官对执行透明度的意见”调查{2}228采用了单选形式，但这一问题的选项如“执行案件时双方到场、执行听证、告知不能执行的原因”之间并无排斥性，而经常同时出现在案件执行中，采用多选形式更能准确说明问题。关于“法官对其他执行方法的意见”的调查{2}291也存在类似问题。
9.对调查对象未作合理区分
提问应区分对象，该问上帝的问上帝，该问凯撒的凯撒，这样才能找准目标，获取有效的信息。但问卷调查却常有不区分对象的缺陷。如“当你收到裁判文书后，你认为文书说理能让你信服吗” {1}113，该提问针对诉讼当事人，却未区分是胜诉方还是败诉方，而凭借常识便可预测这两方对裁判的体验是完全不同的，一般胜诉方比较服判，而败诉方的抵触情绪较大，因此，笼统地调查当事人的态度欠缺应有的严谨和客观。又如，就“法院解决纠纷是否费时”{2}114、“最能理解的影响案件审理进度的原因”的调查{2}114亦存在类似问题。
10.对异常数据未作必要说明
如对“不同职业的公众选择法官解决纠纷的原因”的调查，{2}13其中律师、军人、学生、工程师、教师、其他对“年龄大的法官”这一选项的选择均为零，而报告未在文中对之进行说明。实际上，正是这种异常的、有违日常经验和逻辑的数据，需要做出说明，甚至有可能从相关分析中获得更重要的信息。当然，这一异常数据也可能是选项设置不当等原因造成的，因为其他选项如“高学历的法官”、“经验丰富的法官”的可选性太强。
11.问卷内容繁杂，题量过大
这项有关法院公信力的实证调查共设计了诉讼当事人问卷、社会公众问卷、法官及法院其他工作人员问卷等五套问卷，其中，诉讼当事人问卷有76题，其余几套问卷均有80题以上，而且每套问卷均涉及被调查人的基本情况、法官素质、司法质量、司法能力、制度安排、法院管理、司法执行力、司法独立、司法信仰等诸多方面。在同一份问卷中设计如此多的问题，很可能会导致问卷目标的分散，扰乱受访者的思维逻辑，同时，题量过大，很容易使答题者厌倦，以致出现乱答乱填的情况，影响调查的效果。
因此，问卷内容应围绕有限的主题展开，题量不可太大，问答时间一般不应超过半小时，否则受访者的思维大多会开始涣散，情绪变得不耐烦，很可能乱答或乱填。如果问卷篇幅稍长且确有必要，则应注意在访谈过程中让受访者休息片刻，再继续问卷调查。
12.调查范围的局限性
这是实证调查经常被质疑的问题，即所选样本何以具有代表性？何以能说明某一地区乃至全国的普遍状况？例如，该调查选取西南某省内经济相对发达、中等发达和相对欠发达的三个地区为样本，共计发放问卷4250份，回收有效问卷3674份。但三个样本区的法院公信力状况只能代表该省，最多扩及邻省而代表西南地区的情况，就全国范围内而言，就不具有普遍的代表性。加之其问卷的回收量不大，信息的回馈量不够充分，因此，在此基础上所作出的分析，就难免存在一定的局限性。有学者采用类似的方法，在全国范围选取经济发达、中等发达和相对欠发达的地区作为实证样本，试图以此说明全国的情况，但这对幅员辽阔、地区差异较大的中国而言，明显存在以偏概全之嫌。所以，实证调查的结论原则上仅适用于调查范围之内，相应的扩展应适当且严谨。
(二)《强制执行案件鉴别机制改革项目实证研究报告》 [③]
该报告是某中级法院有关强制执行案件鉴别机制改革的实证研究，主要采用了查阅卷宗与问卷调查的方法，也暴露出一些实证研究的常见缺陷。
1.实证调研方法的单薄
该研究仅采取查阅卷宗与问卷调查的方法，存在较大的不足。第一，对该研究而言，这两种实证调研方法并不是有效的方法，不能很好地达到研究目的。有必要补充其他更重要的方法，如个案分析、个案追踪、参与观察、对当事人和律师的访谈等方法。第二，案卷抽样样本太少，甚至可以说，根本无需抽样。该研究仅选取该中院及其辖区内两个基层法院2001年至2005年间的300件民商事执行案件作为样本，明显缺乏代表性，不足以全面反映当地的执行状况。事实上，该法院掌握了全面的统计信息，直接使用这些材料足以说明问题。同时，该法院的强制执行信息系统发达，通过这一系统可以获取实证研究所需的任何材料。
2.变量选取和统计标准不当
在查阅卷宗、统计数据的过程中，该研究在变量选择、统计标准的确定上存在较大缺陷。例如，该研究在描述案件执行状况时忽略了执行标的额这一重要变量，从而只能从案件“数量”而不能从案件“质量”上反映执行情况。同时，在计算案件执结率时，将执行终结、执行和解、执行中止甚至执行委托都一并纳入“执结”的范畴，从而得出当地法院连续5年保持95%以上奇高的案件执结率，与人们的经验和感受相悖。与此类似，将当事人下落不明和无履行能力两种情形并归一处，用单一数据来描述也不合理。因此，选取变量应注意变量与研究的相关性，相关性较强的一定不能忽略，无关的则不应纳入；统计标准也应合理设定，从而客观地反映现实，而不是为了显示出更“好”的数据。
3.调查问卷样本太少，调查对象杂乱
该研究发放问卷共计350份，收回350份，涉及300名当事人(包括律师)和50多个执行协助单位。从数量上看，问卷样本太少，尚未达到统计学要求的样本数量。从对象上看，300名执行案件当事人中包括诉讼代理人，50多个执行协助单位中还涉及人大、政协、纪委等非民诉法规定的协助机关，对象杂乱导致信息分散和无关。
4.不少问题无需问卷调查
例如，是否感觉到执行难，社会诚信对执行工作是否有影响，解决执行难应否多方采取措施、加大执行力度，执行联动的作用大小等都是众所周知而无需调查的；对某一起案件是否通过调解结案，是否引起上访，应从法院的统计数据和材料中获得，而非通过问卷形式从当事人处寻找答案，被调查的问卷填写者也不可能了解这些信息；对执行难原因的调查，也应通过对现象的分析而非依据问卷得出。
5.数据不一致或冲突
严格地说，这不属于实证调查的技术缺陷而应归为严重的人为错误。例如，“引起强制执行的当事人原因统计”中，“下落不明、资金周转不开、资不抵债”这三项数据之和就远大于“当事人下落不明、无履行能力案件统计”的数据，但事实上，即使不能保持一致，也应该是后者的数量大于前者。又如“强制措施统计表”和“采取强制措施一览表”，两者内容几乎完全相同，但数据却相差万里。
6.概念不明，前后不一
例如，对“引起强制执行的当事人原因”的调查中，对“抗法事件”和“抗拒执行”这两个概念未作明确界定和区分，两者交替使用，产生混乱。又如问卷中提到“执行联动”、“自动履行”等概念，被调查者也不容易明了其确切含义。这些技术问题处理不当，将加大所获数据的偏差，影响其可采性和解释力。
7.分类不清，问题复杂化
这大概是调查思路不清晰的一种反映。例如，在调查“引起强制执行的司法原因”的两个统计表中，前者将此类司法原因分列为“对法律文书不满、文书送达不完善”，后者则分列为“执行前准备不足、对判决结果怀疑”，对同一问题做不同分类，应以必要为限，但此处毫无必要，而且不同分类间的界限明显不清，没有说明问题，反倒使问题更加复杂。
8.结论与调查脱节
调查与结论“两张皮”，结论无需调查便可得出，这是当下许多声称为实证的研究所存在的问题。例如，该研究认为化解执行难应从源头治理，提高审判质量的裁判公信力；应深化执行体制和工作机制改革，提高执行案件的质量和效率；应延伸执行工作机制，促进社会和谐稳定。这些都根本无需实证调查便可以得出，或者从其实证调查中无法得出。为实证而实证，本身就背离了实证研究的初衷与价值。
(三)《关于人民法院与社会有关方面互助联动调处纠纷课题研究实证报告》 [④]
该报告以构建法院为中心的互动调处纠纷机制为目标，对现有纠纷解决机制的运行状况进行实证调研，并制定相应的制度方案。实证调查方面存在的问题主要有：
1.调查不全面，数据不足
例如，报告欠缺该市纠纷及其解决现状的整体数据(哪怕是大致的数据)，课题组选择的三个法院在纠纷解决方面的数据及其横向比较，法院二审的诉讼调解数据，报告拟进行数量分析的“几类民事案件的调解结案率”、案件“和解率”、“协调结案率”等数据。作为实证研究的必要部分，背景性数据、比较性数据都不可或缺。
2.调查材料的收集整理不够严谨
例如，“全市两级法院民事案件审限情况表”，各项数据的获取或计算标准都欠缺适当说明；“调解案件履行情况表”中欠缺民事一审调解结案案件的及时结清数、申请执行数、执行和解的数量以及作为比较参数的各项数据；“全市法院一审民事结案情况表”中“调解数”这一表述不甚准确，应为“调解结案数”，“调解占比例”也显得粗略。调查材料的整理与得出的结论直接相关，数据的计算和统计应尽可能做到细致严谨。
3.调查问卷的缺陷
该报告在问卷调查方面也存在上文提及的类似问题：调查对象定位不准确，如将公众类的调查对象仅定位为人大代表、政协委员、律师、诉讼当事人，不能充分代表公众；问卷仅150份，收回118份，样本数量太少，不具代表性；问卷设计不甚科学，如制度设计缺陷的界定不明确、选项不周延、问题宏观不够具体化等。事实上，我认为，不应把调查问卷的作用看得太重，应增加其他研究和调查方法的运用，如文献研究、深度的个案研究、访谈、参与观察等。
4.调查、分析与主题脱节
该报告调查了人民调解、法院调解的情况，而主题是“互助联动纠纷解决机制”，两者之间没有足够强的逻辑关联。例如，报告采用定量分析和定性分析相结合的方法。定量分析主要对近几年来沈阳两级法院诉讼调解结案率、调解结案数与判决结案数、几类民事案件的调解结案率进行数量分析。定性分析是在定量分析的基础上，对诉讼调解工作中的新问题、新情况产生的背景、原因和存在的问题等，在整个诉讼环境、诉讼整体机制、法院人员状况等架构下，进行合法性、合理性等方面的分析。两者都仅以诉讼调解为对象，如何体现法院与其他机构在调处纠纷上的互动？报告中一系列有关该中院调解率、和解率、协调结案率与其他中级法院的比较，“委托调解”与“协助调解”的效果比较，调解结案和判决结案效果对比，也未体现具备调处功能的各机构之间的互助联动。而且，调解工作更多地集中在基层法院，以中级法院为主要调研对象也有不妥。
5.调查实施与课题设计、研究目标脱节
实证研究需要科学、周密的课题设计，更需要严格执行。该报告除对法院诉讼调解和人民调解有所涉及外，并没有按照预先的课题设计，对现阶段其他社会纠纷解决机制及其运行情况进行相应的调研和分析；就建立社会纠纷解决机制的必要性和可行性，报告也没有给出明确有力的论证；对以法院为主的互助联动纠纷调处机制所提供的理论和实证上的支持也很不充分。报告中的实证部分还偏离了“社会矛盾纠纷多元化解决机制”这一命题，仅仅反映了部分人民调解和法院诉讼调解的状况，没有展现当前多元化纠纷解决的现状，就相关各方对参与诉讼调解协助法院调解纠纷的认识以及对法院提供法律帮助的需求也未具体体现。
6.制度设计空洞，欠缺相关评估
制度设计是对策性实证研究的重要内容。但该报告除了给出一个“互助联动调处纠纷”的概念外，并没有提出具体、可操作的制度设计，更无针对性的评估方案。报告仅就人民调解和法院诉讼调解做出了简单的数据分析和论证，其他具有调处功能的机构在所谓的“互助联动纠纷解决机制”中发挥了何种作用，可能发挥怎样的作用，在“互助联动纠纷解决机制”应当处于什么地位，皆未涉及。进而，在这种“互助联动纠纷解决机制”中，法院主导是否适合，法院的职责何在，法院的主要功能是什么，也欠缺科学的定位和分析。继而，法院是否有必要过度追求调解率，可能造成的负面影响或代价，也无预测分析。
就对策性实证研究而言，本人较为倡导vera模式，即在进行充分实证调查的基础上，明确提出具体的制度设计、实施措施和评估方案并逐项予以落实。vera方法论定位于行动性项目，但研究与行动本身是无法割离的，尤其是通过研究促成政策性建议的出台，也就随之出现试点等行动性研究的必要。vera方法论的基本环节包括：(1)寻找改革的机会以及取得将来策划项目的经费；(2)继续推进：补充研究与初步策划，即将相关的研究当作一项事业来推行；(3)策划试验项目；(4)策划对试验项目的评估；(5)付诸实施；(6)执行试验项目并调整项目设计；(7)对评估数据及发现的问题进行分析；(8)从小规模的试验到制度改革。{3}
四、实证研究的方法、技术与策略
从方向性误区到技术性误区，上文的分析为司法制度的实证研究提供了镜鉴的样本，也揭示了实证研究方法、技术和策略的必要性和重要性。因此，为了更清晰地展示司法实证研究的正确路径，有必要简要讨论实证研究的一般步骤、方法以及关键的技术和策略，特别是指出其中值得注意之处。
(一)实证研究的步骤与方法
1.实证研究的步骤
(1)选题，这是研究开始的第一步，它往往决定了研究能否成功。好的选题应该有真正的理论和实践意义，应当是真实而非虚假的问题，应当来自社会实践而非假想编造。它不排斥理性、价值和本质主义，但它更关注经验、行动、实用和效果；尽管被人们视而不见或视为边缘，但它对社会生活却极其重要；尽管可能溯及久远，但它更面对现实着眼未来；尽管关照世界，但它尤以中国现实为土壤。
(2)文献收集和整理。这是实证调查前的必备工作。收集整理的范围包括国内外与研究主题相关的一切文献。
(3)调查设计。这是确保调查成功的重要条件。调查设计应以初步研究为基础，较为详细，考虑调查地点、调查内容、调查方法以及可能遇到的各种问题。当然，由于实际调查中有诸多不确定因素的存在，调查设计不可能做做到非常细致完备，而要在实施调查的过程中根据实际情况及时做出调整和不断完善。
(4)实施调查。该环节可能遇到许到非常细致完备，而要在实施调查的过程中根据实际情况及时做出调整和不断完善。多无法预料的问题，因而需要随机应变。调查过程中应当及时进行阶段总结，以指导下一阶段的调查活动。还特别需要强调注意社会调查中的伦理规范，尊重当地风俗和个人的习惯、隐私。
(5)统计分析。该环节应进行严密的数据录入、清理、计算、分析和检验，特别应对统计失误保持高度警惕，注意避免“统计谎言”——看似有所关联，但实质上并不存在科学意义上可验证的因果关系。
(6)撰写研究报告。在调查、统计、分析的基础上撰写研究报告，当然也可以在调查开始就进行写作。特别要注意，即使在实证调查前先有一些理论预设，但调查后也应根据具体情况进行相应的调整。还需要特别强调的是报告撰写中的伦理规范，即对人名、地名等须进行必要的技术处理。有些人直接写出被调查者的真实姓名，这很可能给被调查者带来不便。例如，于建嵘在一些实证研究中公开被调查者的真实身份，并声称取得了被调查者的书面同意， [⑤]但这种同意很可能是信息不对称的结果。应星在《大河移民上访的故事》中对调查材料的处理也不十分周全。此外，还需注意与被调查者的协调，尊重被调查者的工作生活秩序，选择具有足够关系资源的调查联系人，尽可能使用一切正当的方法获取详尽的信息，尽量做到点、面结合，并尽力减少调查误差。
(7)补充调查。研究过程中通常会发现有必要补充调查，回访、跟踪调查亦属这一步骤。跟踪调查要求有耐心，长时期深入调研。
(8)最终报告的形成。该环节尤其要考虑理论提升。实证调查应注意的事项很多，最需要强调的是，实证调查应以必要为限。不少研究走入了这一误区，为调查而调查，实证材料仅仅被作为一种装饰。无需调查便可得出的结论，不必画蛇添足，实证调查的标签并不会提升研究成果的份量。
2.实证调查的方法
实证调查主要采取社会学、人类学的方法。具体方法主要包括：
(1)文献研究，这是实证调查的前提和重要步骤，也是实证研究的重要方法。
(2)查阅案卷和档案，这是调查法院、检察院等司法机关的司法运作的核心方法，因为案卷和档案是凝固的历史，是相关主体在特定时空下实施特定行为的正式和完整的记载。
(3)参与观察，即通过置身某一纠纷、案件或事件的处理现场对调查对象进行观察，如旁听审判，担任书记员等。特别需注意的是，要用自己的眼睛、脑子和心灵去参与观察，这样才可能发现问题。
(4)访谈，包括个人访谈和座谈会。访谈者应有清晰的访谈提纲，明确的问题意识，有时还应该给被访谈者作必要的准备。访谈是一种艺术，也是一种权力运用的艺术，访谈者要能够控制访谈的局面，营造合作的气氛，与被访谈者保持友好或亲近的关系。适当地打断是必要的，但要尊重被访谈者，不能引起其反感。调查的主要目的并不是“查户口”，而是要了解被访谈者的真实想法，以此作为研究的论据或主要观点。
(5)问卷调查，这是一种便利却重要的社会调查方法，但容易走偏差，所以特别需要明确调查目的，作好问题设计。具体的技术问题下文专门讨论。
(二)实证研究的技术与策略
关于司法实证研究的技术与策略，在误区分析部分有所涉及，此处不作系统讨论，而补充性地强调一些重要问题。
1.问题中心
实证研究最好采取问题中心的策略，要有明确的问题意识，提出一个有理论和实践意义的好问题。选题要大气，有张力，有包容性，有远见，有重大的理论和现实意义，关注基本问题，回到基本问题。当然，故事可以是小的，但故事的意义一定要大。如果没有大意义，故事就可能流于琐碎，流于细节。用黄仁宇的话来说，“叙事不妨细致，但目光一定要看远而不顾近”。选题不应拘泥于玄学、法条和外国经验，不拘泥于教科书，而应关注社会、关注时代、关注现实，要符合中国的现实和理论需求。选题既要抢占先机，也要考虑研究方向的持续性。选题要能够发挥自己的优势，符合自己的兴趣。比如，不少司法人员喜欢撰写理论化的文章，就没有发挥自己的优势，倘若他们从日常的司法工作提炼经验和感想，则很可能发挥优势。
2.中国问题+比较法视角
中国的学术进步须回到“中国问题”上。司法的实证研究尤其应以“中国问题”为核心，调查、解释和分析中国现象，进行理论提升，因为司法制度更为地方化和本土化，忽略本土特色而单独地从“先进”、“西方”、“法治”国家移植规则往往效果不佳。同时，由于法治在相当程度上具有普世性价值，外国司法制度及其改进的经验教训也不容忽视，因此对于中国问题的研究还应当重视比较法视角。而且，从比较法视角看问题还可能更全面、更深刻。司法的实证研究应当坚持“中国的问题，世界的眼光”(陈瑞华语)。
3.重视个案研究
实证研究应当尽可能深入细致，而不走马观花，只作印象式介绍。如果缺乏获取和处理大规模样本的能力，也许不必勉强为之。借鉴人类学方法，转向深度的个案研究方法不失为一个次优的选择。 [⑥]例如，《送法下乡》一书的成功部分地源于深度的个案研究，苏力通过描述细致、生动而真实的事件、人物、背景及其关联，追求“事物本身的逻辑”，挖掘出了“只有中国学者才可能敏感察觉和提出的中国当代基层司法中具有实践意义的问题”。{4}孙立平对“实践逻辑”的重视也提供了一个范例：在分析国家—农民关系的“隐秘”时，他从社会人类学传统的延伸个案方法发展了“过程—事件分析”的策略，在此基础上成功地进行了“实践社会学”的理论建构。{5}
4.以实践为中心进行理论提升
英国数学家、哲学家怀特海曾为自然科学提供一条准则：寻找简单并怀疑之。美国人类学家格尔兹则为社会科学提供了另一条准则：寻找复杂并使之有序化。{6}寻找复杂并使之有序化正是理论提升的主要方向。基于实证材料实现理论提升是很难实现的大跨越，但也不妨归纳一些理论提升的主要策略，诸如：(1)从经验材料中提炼理论框架、核心概念和理论假说，以此为线索整合经验材料；(2)建立理论模型，并运用经验材料进行检验，例如，经济学分析的通常步骤是进行命题归纳、模型建构、量化分析和数据检验；(3)从现象中寻找和提炼出重要变量，探求因果关系，发现规律，概括出命题或定理；(4)类型化、结构化、数量化、图表化；(5)利用其他学科的概念和原理作为分析工具，例如，可以运用正式制度与非正式制度、书本上的法和行动中的法、潜规则、习惯法等社会学概念来解释司法现象，也可以运用成本收益、激励、信息、博弈等经济学概念和原理来解释司法运作中的现象。
但需注意，方法只是实现理论提升的工具，其本身不是目的，因此，方法以必要为限。此外，尽管理论提升在某种意义上就是常识问题精致化、简单问题复杂化，但应符合研究的目标，不是为精致而精致，不应过度理论化，不陷于“理论情结”。
5.研究和论证的技术
对此我想强调三点：第一，切入一项研究主题，往往有多种可能。因此，在提出有价值的问题、掌握一定的经验材料后，需要选择独特的切入角度来进行研究，使其区别于已有的同主题论述，或者使主题能够得到更好的展现。例如，我指导一位研究生进行“性别与司法”的研究，选取了女法官对离婚案件的审判的视角，因为离婚案件的特殊性最可能显示法官的性别特征，在对男女法官审理离婚案件进行对比的基础上，归纳出女法官审判的特点和成因。{7}
第二，限定是研究者必须努力达到的要求。论文的目的在于说明和论证一个问题，不能过于发散。而限定使周延的论证成为可能，有助于避免大而化之的“讨论”或“批评”，进而提供了实现知识增量的可能性。
第三，“小叙事大视野”，“小故事大意义”，“小地方大问题”，这种以小见大的研究方法是现代社会科学的特点。{8}司法的实证研究特别要重视这种方法。正如意大利法学家卡拉玛德雷也曾说到，“司法程序映射出……国家的结构，就象一滴水可以折射出天空一样。”
6.不忽略解决问题的重要维度
一些实证研究者声称坚持价值中立的“观剧者”立场，只做研究不提对策。但在中国这样一个急剧转型的社会中，建设一种相对统一和稳定的现代法制、并通过这种工具理性的法制进行社会整合、最终迈向法治成为国家的首要任务，法学家负有积极影响规则制订和参与国家法治建设的使命。有些学者为现实辩护的倾向明显，主张“存在即合理”的哲学，过分崇尚实践中的“本土资源”、“自发秩序”和“地方性知识”，以类似于田园诗化和偏乐观的语调来描述司法实践中的问题。面对司法实践，实证研究者不应放弃法治理想，而应保持学者的批判姿态，既踏实进行实证研究，同时兼顾政策取向的建设性工作。
