13年我们家修了地基，今年2月份时在宅基地上倒了四车石头（手扶拖拉机），操作完全在我们宅基地上进行，

13年我们家修了地基，今年2月份时在宅基地上倒了四车石头（手扶拖拉机），操作完全在我们宅基地上进行，一块石头也没有倒在邻居家旁边，且两家留有三尺阴沟，但是邻居说说是我们家的问题，要人我们赔偿20000元人民币给他们，他们的房屋是老式土木结构，有两层，地势软，建房时间有20年左右，而且在我们未倒石头之前房子就有问题了，他本人也承认之前就有毛病，我想问一下如果走法律程序的话，用赔偿这么多钱吗？