本人有一门面房 下水主管在我房内 楼上用户连接主管道的管子是细管 楼上装修时跟我家商量想把细管改成粗

本人有一门面房 下水主管在我房内 楼上用户连接主管道的管子是细管 楼上装修时跟我家商量想把细管改成粗管方便生活用水 我同意了 把我家钥匙给了他 出于信任加工作繁忙没有现场监工 后来发现楼上未经允许 未知会我擅自在我家房顶打了两个洞 在我家房内多加了两根明的下水管连接到主管 先要求对方拆除并将我家恢复原样 对方迟迟不弄 这种情况可以告他吗？有没有法律依据？