所谓“非法证据”，即违反法律规定收集或取得的证据。从广义上讲，非法证据包括四种：(1)主体不合法的证据，即不具备法律规定的取证主体资格的人收集提取的证据，例如，纪检人员提取的被告人口供或物证书证；(2)形式不合法的证据，即不具备或不符合诉讼中法定形式的证据，例如，没有见证人签名的现场勘查笔录；(3)程序不合法的证据，即违反法律规定之程序取得的证据，例如，通过非法搜查获得的物证或书证；(4)方法手段不合法的证据，即使用法律禁止之手段获得的证据，例如，通过刑讯获得的口供或证言。狭义的非法证据则仅指后面两种。
我国现行的《刑事诉讼法》没有就非法证据排除规则作出明确的规定，但是该法第43条规定“严禁刑讯逼供和以威胁、引诱、欺骗以及其他非法的方法收集证据”，而有关的司法解释则对非法证据排除问题作出了补充规定。例如，《最高人民法院关于执行〈中华人民共和国刑事诉讼法〉若干问题的解释》第61条规定：“凡经查确实属于采用刑讯逼供或者威胁、引诱、欺骗等非法的方法取得的证人证言、被害人陈述、被告人供述，不能作为定案的根据”。最高人民检察院颁布的《人民检察院实施〈刑事诉讼法〉规则》第233条规定：“以刑讯的方法收集的犯罪嫌疑人供述、被害人陈述、证人证言、鉴定结论不能作为指控犯罪的依据。以威胁、引诱、欺骗以及其他非法的方法收集上述证据而严重损害犯罪嫌疑人、被害人、证人、鉴定人合法权益或者可能影响证据客观真实的，该证据也不能作为指控犯罪的依据。对于以非法的方法收集的物证、书证，经审查核实能够证明案件真实情况的，可以作为指控犯罪的依据，但非法收集证据的手段严重损害犯罪嫌疑人及其他有关公民合法权益的除外。”虽然“两高”的上述规定有所区别，但是基本上都采取了“区别对待”非法证据的态度，因为“高法”的规定也只要求排除某些非法证据。
对于规则的制定者来说，笼统地宣布严禁非法取证并排除所有非法证据是最简单最容易的做法，但这是不切实际的，也是很难实施的，因此往往会沦为一句空话。要想使非法证据排除规则符合司法实践的情况并具有可操作性，就要在处理那些违法不太严重或性质不很恶劣的非法证据时给与司法人员一定的自由裁量权。因此，应当把“区别对待”作为确立我国非法证据排除规则的基本思路，但是规则应该尽量具体明确，而且要有切实的保障措施。
在修改刑事诉讼法的时候把非法证据明确区分为两类：第一类是法定绝对排除的非法证据，包括采用刑讯方法获得的被告人口供和证人证言；第二类是自由裁量排除的非法证据，包括主体不符合法律规定的证据，形式不符合法律规定的证据，违反法律规定程序获得的实物证据，采用变相刑讯或者威胁、引诱、欺骗等非法方法获得的言词证据，以及通过非法言词证据获得的实物证据——即所谓的“毒树之果”。
对于第一种非法证据，只要司法人员在具体案件中认定有刑讯逼供，就一律进行排除，绝对不允许其进入刑事诉讼的大门。当然，如何在具体案件中把握“认定有刑讯逼供”的标准也不是一个简单的问题，但本文不做讨论。对于第二种非法证据，司法人员在查明有上述情况时，还要根据案件和证据的具体情况来决定是否应该排除。司法人员需要考量的具体因素包括：取证人员违法的严重程度；非法取证之侵权的严重程度；取证人员调查之犯罪案件本身的性质及严重程度；需要排除之证据的证明价值；违法获取证据之人员的主观状态；违法取证行为对司法公正的影响；违法取证行为对司法环境的影响；违法取证行为对公共利益的影响等。司法人员在作出是否排除的决定时应该说明具体的理由。
假如我们可以把上述内容作为我国法律所规定的非法证据排除规则，那么这些规则是否具有了足够的具体明确性呢？众所周知，刑事案件的情况是复杂多样的，非法证据的情况也是复杂多样的，虽然笔者列出了这些可谓“相当具体”的自由裁量因素，但是司法人员在面对具体案件中的非法证据时可能仍然会感到难以把握。另外，不同的司法人员面对相似的非法证据情况时也可能作出不同的裁判，即人们所说的“同案不同判”。那么，我们是否可以把规则制定得更加具体明确呢？例如，我们是否可以一一列举出构成“严重违法”和“严重侵权”的具体情况？笔者以为，即使有诸多专家学者的帮助，规则制定者恐怕也难以完成如此复杂且精准的任务。那么，我们是否可以索性任由司法人员去自由裁量，完全依赖于他们个人的专业能力和道德修养呢？笔者以为不可，因为这会破坏司法裁判所应具有的一致性和规范性——特别是在当下的中国。这似乎是一个两难的处境。如何解脱？笔者以为，判例可以帮助我们走出这一困境。
一提到使用“判例”，有些学者马上就会反对说，中国是大陆法系国家，没有判例法的传统，因此绝不能搞判例，甚至会把这个问题提升到“宪政体制”的层面。窃以为，我们在讨论这个问题的时候不可陷入僵化的思维套索之中。
且不说中国是否没有判例法传统乃至是否属于大陆法系国家等问题尚无普遍接受之定论，即使是传统的英美法系国家和大陆法系国家在制定法与判例法的问题上也不再界线分明。人类社会的法律制度和司法制度都有共同的发展规律和趋势，因此，两大法系在沿循自身发展的惯性轨迹的同时也在互相学习、借鉴乃至融合。于是，英美法系国家在判例法的基础上颁布了大量的制定法，而大陆法系国家则在制定法的框架内承认了判例的功能。从这个意义上讲，现代的英美法系国家和大陆法系国家的法律体系中都包含有制定法和判例法的元素，只不过二者的倚重有所不同。
在人类社会生活日趋复杂多样的今天，立法者制定的规则不可能满足司法者面对具体案件时所需要的具体明确性，因此，以判例作为法律规则之补充就具有了正当性和必要性。实际上，中国的司法机关近年来已经在实践中尝试发挥判例的作用，例如，河南省的法院就试行了“先例判决制度”；江苏省的法院则试行了“参阅案例”制度；最高人民法院也把建立和完善案例指导制度纳入了《人民法院第二个五年改革纲要》之中。无论是称之为“判例”还是“指导性案例”或“参阅案例”，其都可以在决定是否排除前述第二类非法证据的问题上，规范司法人员对自由裁量权的使用，统一司法的尺度和裁判的标准，保障司法公正。一言以蔽之，完善我国的非法证据排除规则，借助判例或指导性案例的功能是一条最佳路径。
