本人宝山区有一套2室一厅的房子在去年出租，当时我父亲和租客没有签订正规协议 本人宝山区有一套2室一厅的房子在去年出租，当时我父亲和租客没有签订正规协议，只是有类似于字据的协议，说可以借3年，由于我要生孩子回家住，提前一年收回房子，提早一个月告知租客让其搬走，租客也同意了，并找好其下家，今天突然反悔让我们赔违约金，意思是我们并非自己住，又找了中介把房子租出去，他们不满意，他们说不赔违约金不肯搬走，请问这样的情况下，应该怎么处理