附近有个豆芽加工厂每天晚上九点到次日早上四五点都在装运豆芽产生噪音扰民，（是将农村自建房一楼当成仓库

附近有个豆芽加工厂每天晚上九点到次日早上四五点都在装运豆芽产生噪音扰民，（是将农村自建房一楼当成仓库使用，院子里作为搬运装卸的活动点）妨碍他人正常休息，据当事人陈述自己这里只是仓库不参与生产经营，在另外地方点办有营业执照。但实际该自建房有三四个工人每晚都在干活并且住在家里，一般都是大货车进进出出，几百斤的铁筐装运货物人为产生的噪音，市场监管局来看过其在其它地方办有营业执照并且没有机器打磨的声音不算违规，打12345他们来只能劝说对方不听，每天这样的晚上操作搬运货物影响人正常作息该怎么办？