我把农村集镇上的宅基地卖给了别人，且与之签订了一纸临时简易的<房屋买卖协议>，且在协议里

我把农村集镇上的宅基地卖给了别人，且与之签订了一纸临时简易的<房屋买卖协议>，且在协议里明确了定金5万元并规定“如卖方反悔，双倍退还定金，买方反悔，定金不退”，对方也交了定金给我。几天后对方反悔，说宅基地是不能在非集体组织成员外交易的，要求我退还定金，我不答应，他说会上法院告我！我想咨询一下，这种情况法院会怎么判？敬请律师指点我该怎么做？万分感谢。