您好，我是卖房的，我和买房去年签订的合同，中间有中介，签订合同时，我的房子房本没有下来，跟中介约定我

您好，我是卖房的，我和买房去年签订的合同，中间有中介，签订合同时，我的房子房本没有下来，跟中介约定我出2万块，他们去催房本，买方知道这事，但是合同没写，有录音证据，然后定于19年5月15号进行面签手续，结果中介收了钱没有给催本，现在5月15号了，没有房本面签不了，我问国土局，说现在开始办理房本要3到5个月，买方不同意，要退房，合同写了，5月15号进行面签，但是没有写面签不了怎么处理，合同上有一条，买方和卖方任何一方违反约定，守约方可以在约定日子后三十天内，单方解除合同，并索每天房款千分之三的赔偿，现在买方不买了，我不同意给他退款（给了我5万定金），我算违约吗