你好，工厂的解释并不能成立。
从您所述内容看，认定为劳动关系的可能性较大。因为工厂是同意你去找人来承担工厂的卫生工作的，对你所找人来完成的工作成果也是认可接受的，在双方没有书面合同约定的情况下，应当认定为工厂与打扫人员成立事实上的劳动关系。对于工厂对具体打扫人员并不直接管理以及你向该人员发放工资的问题，可以理解为是公司的内部管理问题。从举证责任的角度来说，在证明打扫人员完成工作且工厂接受劳动成果并通过你支付工资的事实后，就应当由工厂对其主张的所谓劳务关系进行举证，如其不能提供相关证据就应当承担相应的不利后果。
　　如需法律帮助可直接电话咨询。