邻居以我家拆房损坏他家房屋为由多次阻止我施工，并且当地村委会 邻居以我家拆房损坏他家房屋为由多次阻止我施工，并且当地村委会，镇府，城建，国土局，司法，信访办出面调节两次，我为了建房他提的条件也答应了，各部门在处理意见上签了字，我也同意调节，对方却不签字不同意，意见书上也明确写了同意此调节就签字，不同意就走司法程序，各部门也同意我施工，对方还能阻止我施工吗