合同纠纷 经甲  乙双方共同协商如下：
  1 二楼整楼租给乙方使用，租期为无限期。乙方只要需要则永远租下去使用，月租为一千元整。
  2 付款方式：没年交一次。乙方需退房则提前一个月提出。
  3 装修需要重新打门和打墙需经甲方同意。
  4 到期后在同等条件下乙方优先续租。
  5 本合同任何一方不得毁约，否则赔偿另一方的一切损失。    
    现在房东说要涨房租  所以我不想再租下去。由于装修所以在墙上打了孔  粉刷了墙，  现在房东要我把房子恢复原样，赔偿他房子的损失  还有违约金。请问这合理吗？我该怎么办？