合同口头约定 但没有签订 但买方支付了2w的定金 房子卖给了一个人 合同没有签订 但买方给了2万的定金，现在自己已经定好了一套期房，马上支付首付了（买方也了解此事），但买方现在一直迟迟不肯签订合同，和支付第二次房款，他看着我们马上支付期房的首付，所以在故意拖延时间，以达到他再次压价的目的。买方现在的意思是说，你要不同意的话，把定金退给他。请问我可以占得了主动权吗？