可以协商解除买卖合同或者向法院起诉主张解除买卖合同并返还已交付的房款。

虽然没有合同，但是你已经实际履行了合同的主要义务，买卖关系仍然是成立的。当然，你可以否认，然后主张不当得利要求返还房款。或者，你可以以情势变更为由解除合同，让对方返还房款。虽然没有约定违约责任，但是如果给对方造成了损失你依然需要赔偿。