房屋买卖纠纷 卖方于2005年将农村一抵押给农村信用社的房屋卖给我，并签了《非正式买卖房屋协议书。协议内容：甲方愿将抵押给农村信用社的房屋卖给我，因甲方房产证抵押在信用社所以不成正式成交，经协商双方达成如下协议：
一、房屋批价7000元，乙方支付定金3000元其余4000元在2006年底付清。今后如银行贷款原因查封、拍卖该房屋的一切责任由甲方负责与乙方无关。如甲方到时不能解决负债纠纷乙方在不能居住的情况下，甲方到时退还乙方所交房款。
二、甲方在2005年8月11日起房屋移交给乙方后所有维修安全责任由乙方负责。
根据以上内容卖方至今没有将银行贷款还清，更没有将房产证取回将房产过户给我，同时卖方还要将该房屋收回，退还我当时的购房款。我可以不归还其房屋，并要求他过户给我 行不行？