可以拒绝对方违约吗？ 2009年3月我一个朋友说自己急着用钱，让我买他的房子。当时说好了价但没签合同。谁知过了两天他又说家里说他卖便宜了要我涨点价，我给他涨了五千，后来签了合同，因为是朋友，违约金定为5%，也答应他9月过户。其实当时我们买房的钱是四处借来的，而且自己也等着要住房子。但因为对方称手上差钱所以全部房款交清，又因为他想8月离开这个地方，在这之前不想别人知道他卖房，所以答应了他可以9月前交房。可现在马上8月底了，他却不露面。给他打电话，他就念叨说自己卖便宜了，要我们再添钱，要不就付违约金买回来。
    他这样的态度让我很难接受！因为当时我们租房子的房东不愿再出租，我们也是急着要房子住，可因为体谅朋友的难处，又厚着脸皮向房东又租了一年，为此还涨了我们的租金。买他房子的钱我们四处借来，还付着利息。而且我们拿着借来的这笔钱也错过了去按揭新楼盘的好位置。.......到现在他居然这样做，我感到十分不能接受！！！
    我想请问，如果他坚持支付5%的违约金要拿回房子，我可以拒绝吗？