你得先起诉，法院会根据情况处理，法院判决可以申请执行。

如果对方打的公用墙不影响房屋的结构安全也对你的正常使用没有影响着通过诉讼途径也很难要求对方恢复。