可以。

看合同约定

一般严重违约才可以，晚交几天退不了。确切的要看你们的购房合同如何约定的。

根据《合同法》第九十四条的规定，出卖人迟延交付房屋或者买受人迟延支付购房款，经催告后在三个月的合理期限内仍未履行，当事人一方请求解除合同的，应予支持，但当事人另有约定的除外。
法律没有规定或者当事人没有约定，经对方当事人催告后，解除权行使的合理期限为三个月。对方当事人没有催告的，解除权应当在解除权发生之日起一年内行使；逾期不行使的，解除权消灭。