合同无特别约定的，算买方违约

没有约定的需要协商

根据合同法62条第4项的规定：“履行期限不明确的，债务人可以随时履行，债权人也可以随时要求履行，但应当给对方必要的准备时间。”，你可以随时要求他支付你32万的房款。
   一般二手房交易需要交纳的税费：
一、 买房人应缴纳税费：
1、 契税：房款的1.5% （面积在144平米以上的需要缴纳3%，面积在90平米以下并且是首套房的可以缴纳1%）
2、 印花税：房款的0.05% 
3、 交易费：3元/平方米
4、 测绘费：1.36元/平方米 
5、 权属登记费及取证费：一般情况是在200元内。
二、 卖房人应缴纳税费： 
1、 印花税：房款的0.05% 
2、 交易费：3元/平方米
3、 营业税：全额的5.5%(房产证未满5年的) 
4、 个人所得税:房产交易盈利部分的20%或者房款的1%（房产证满5年并且是唯一住房的可以免除）
   由于你们双方约定不明确，所以按照规定的，各自承担。你也可以签订补充协议，约定买房人承担所有税费。
    关于违约金的问题，主要看合同怎么约定的，你可以把你合同的扫描件发给我，我才能回答你。hymls2012@163.com

您好，根据您的描述，买方已经构成违约，可追究其责任。如果房屋买卖合同是包括中介在内三方签的合同，则中介也要承担责任，否则一般只能追究买方责任。由于房子已经过户，拿回来会比较困难，但不排除协商一致将房子再过户回来的可能。供您参考。