这个问题要看了现场才能准确回答你，如果你觉得杂屋主人的行为侵犯了你的相邻权，你可以委托律师代为起诉。及时阻上对方行为并要求恢复原状。

对方可能侵犯了你的相邻权，不过也要看具体情况。