我家以前的猪圈，在2014年的时候生产队上让我家建成房子，然后之前就有地基的，旁边是一条队上共有的阴

我家以前的猪圈，在2014年的时候生产队上让我家建成房子，然后之前就有地基的，旁边是一条队上共有的阴沟，队上当官的说阴沟太小了，让我家让出点来，然后我家想阴沟小了以后流水也不方便，我家就把地基让了一半出去！现在是阴沟旁边的另一家（当时让我家让一半出来的那个当官的）在阴沟上建了卫生巾和楼梯。我家让出来了，结果他家去建了，现在我让他拆了，他家不拆，他家说那个是队上共有的，不是我家的，他家不愿意拆掉，但是那个当时是我家让出一半来的！我现在应该怎么办？人家是当官的，我们小老百姓也没办法！