我家二十几年前买地建房，地主当时跟我们要求的是日后旁边的地如果有人买地要建房 我家二十几年前买地建房，地主当时跟我们要求的是日后旁边的地如果有人买地要建房，中间一块是作为公用墙，后来现在的邻居买了地，当时他们盖房子处于双方考虑，建议他们另起一堵墙，可是他们不愿意，最后给予我们一定补偿就当我们盖那堵墙的钱。现在我家推倒重建，已经建设完成，当时邻居却说我们因为拆房子导致共用墙受损，本身公用墙我家一二十年前建的就不是很牢固，现在他家里面这堵墙有受潮裂痕的请客，并且挖地基导致他家地基不稳，现在成为危房，现在找律师收集资料准备起诉我们，请问这样我们有责任吗？