1、不需要搬。房主离婚后你们之间的房屋租赁合同继续有效。
2、建议：和对方说明情况，好好说，尽量协商，这样您在那里也会住得舒心一些。
3、如果对方实在不同意，您又坚决希望住下去，那可以起诉到法院，除非有特殊情况，法院一般会支持您。