证据须具备关联性、真实性和合法性是法律实务界的“常识”。但在理论上，关于证据三性中的真实性与合法性是否存在有争议，其中关于合法性的争议最大。比如现存的证据属性理论中，有三性说，也有两性说（关联性与真实性），还有一性说（关联性），可见如果非要排除一种证据属性的话，合法性可能是最先被排除的。
否定合法性的人认为证据本身并不存在合法性问题，存在合法性问题的是证据程序而非证据本身。在承认证据具备合法性的文献中，合法性的内容被归纳为：取证主体的合法性、取证手段的合法性、证据表现形式的合法性、证据内容合法性、法庭调查程序的合法性等。不难发现，无论是合法性的支持者还是反对者，其对证据合法性的评价都是集中在证据产生和取得方式上的，无论是否承认证据的合法性，人们都赞成需要对证据的取得和使用程序的合法性进行审查，从这一点上看，两种观点没有本质的区别。
从历史源流方面考察，对证据的合法性的审查起源于证据排除规则，其目的在于通过将非法证据排除在诉讼之外而实现对侦查权的限制。因此，证据的合法性问题在刑事领域被讨论得更多，执行也更为严格。
在民事领域，对非法证据的排除是在庭审完成之后进行的，也就是说即使是非法证据 ，也需要经过举证和质证后由法庭进行综合判断是否能够作为定案证据；而根据《人民法院办理刑事案件排除非法证据规程（试行）》的规定，依法予以排除的非法证据，不得宣读、质证，可见在刑事领域非法证据应当被排除在举证质证之外。民事诉讼中对于非法证据的态度也更为宽容，根据《民诉解释》第一百零六条的规定，并非所有非法证据都会被排除，而是只有对以严重侵害他人合法权益、违反法律禁止性规定或者严重违背公序良俗的方法形成或者获取的证据才会被排除。除此之外，鉴定人拒不出庭作证的鉴定意见、无正当理由未出庭的证人以书面等方式提供的证言也属于因不具备合法性而应当被排除的证据。
另一个需要注意的问题是，并不是只有非法证据才需要被排除，在现行法律框架下，不具备关联性或者真实性的证据同样不能作为认定案件事实的根据。
</div