如果你是农村的，那么，第一，你不能与外村人签订房屋买卖合同，只能与本集体经济组织内部成员买卖，而且，必须依法经过本集体经济组织的批准，报土地管理部门变更登记、备案。第二，由你们的违法行为，造成合同无效，你们应当根据过错大小，赔偿对方损失。
总之，合同无效，依法应当可以要回房子；但是，你可能需要赔偿对方的经济损失。