我家因为建造新房，不小心挖到房背后地埂上的几个石头，由于近期下雨，导致地埂有所倒塌，刚开始每次都及时

我家因为建造新房，不小心挖到房背后地埂上的几个石头，由于近期下雨，导致地埂有所倒塌，刚开始每次都及时把倒塌下来的石头和泥土清理干净，可是每次刚清理完，同村居家就又把他家地埂上的石头丢到我家阴沟并填满，且不让清理，经过地方司法所调解，要求我家把房背后地埂打成挡墙，并要求我家后山墙与挡墙之间的跟离为60公分且高度将近3米长度大约60米左右，另外后山墙与地埂的距离窄的地方有71厘米，宽的地方有1米4几（宽的地方原来建房时建有一个卫生间，现在还有印迹）。由于我于前一天拍下了对方要打我跟孩子的视频，所以对方当事人不让我发言，我父母在对方当事人的威逼下签了本地司法所的调解协议书，请问我现在该怎么办