我国还没有一部法律明确工厂应该与居民房相距多远。不过原城市规划法已修改，现在叫《城乡规划法》自2008年1月1日实施，依据该法的规定，一切地面建筑物、构筑物，都应当经过规划许可，未经规划许可的建设行为是违法的。依据你说的情况，你应当到政府负责农村规划的部门去查询，如该建设无规划许可，依法应当拆除。如已经许可，你们只能与规划部门产生行政法律关系，即规划许可的行为对你们构成侵权。因为规划许可时，必须考虑到对居民的日常生活影响，尽管这是属于裁量权的范畴，如事实上形成对居民生活的影响，规划部门依法应当纠正或补偿，如规划部门不纠正，依法可以提起行政诉讼。