请问，这种情况下我可以终止合同并不涉及违约赔偿吗？ 我将一套集资房转让给了他人（目前该房仍在建），并签订了协议，但是根据合同约定，对方应分成三次支付总款项和一次性支付转让金，但对方分成四次且都未在约定的时日内才交付完毕总房款，而且转让金又迟迟未支付。请问这种情况下，我可以终止合同，将房子收回吗？
另外，由于当时迷迷糊糊的，协议约定了如我留房则赔偿违约金为3万元。我能否以他不守约在先为由，争取不予赔偿呢？
拜托了！由于即将交钥匙，急急急……