关于文革落实政策私房的问题 上海市区的房屋3间，祖母遗留私房，兄弟3人去年通过诉讼取得各自产权证。由于房屋在文革期间被收为公有，后1982年发还。但1972年政府已安排人员入住，根据当时约定，住户按照（1979）沪房197号文件，按国家标准向业主交付租金，业主不得强行搬离住户。租户户口已报入房屋内。
请问，
可以解除双方的租赁关系吗？
可以让对方搬离吗？
如果不搬，动迁时会有何问题？