不可以。你家是集体土地，是农用地，不能作为建设用地。
你要建厂房，就是工业用地，改变了土地的性质。
你首先需要到你们乡政府审批，办理土地变性，由休体土地改为国有土地，然后，才能建厂房。
你到你们县国土局去问下，看能不能直接办理土地使用权限变更手续。