我和一个人签了购房协议，我是想买人家的二手房，我给了对方3万元的“订”钱，并手写一个“订条”说好三天

我和一个人签了购房协议，我是想买人家的二手房，我给了对方3万元的“订”钱，并手写一个“订条”说好三天后办理过户手续的，可是两天后对方反悔了，说房子不想卖了要把钱退交给我，我当然不同意还和对方吵起来了，可对方说当初写的是“订条”，3万元是预付款，况且里面也没有写谁违约会怎么样处理，这个事情就这样僵持下来了，已经过去一个多月了，我该怎么办？