您已在合同中约定定金，自然要适用定金罚则。您违约应双倍返还定金

定金是指付款的担保，比如在买卖关系中，买方在签订合同后付给卖方部分款项，作为将来付款的担保，如果买方不履行合同，卖方可以不退还定金，如果卖方按照合同履行了供货义务，定金便折为货款，如果卖方没有按照合同履行供货义务，则应当承担双倍返还定金的责任。总而言之，定金是担保之意。
 
《中华人民共和国担保法》第九十条规定，“定金应当以书面形式约定。当事人在定金合同中应当约定交付定金的期限。定金合同从实际交付定金之日起生效。”；第九十一条规定，“定金的数额由当事人约定，但不得超过主合同标的额的百分之二十”。
从你提供的信息看：一 你应该双倍返还定金。 二 如果定金5万元超过约定房价的20%，可以按房价20%的双倍返还对方。

双倍返还定金，按照合同约定承担违约责任，即可解除合同，不是给点补偿就行的。