安置地买给别人三分之一的土地后再合伙建房，现在我不想买给别人了请问可以嘛？ 我家因拆迁得到一块安置地，我爸一时没考虑清楚答应买给教初中老师朋友三分之一的地并合伙建房，现在房子建起来了，由于建房时那位老师小气不太愿意出钱更不愿意出力，就慢慢有了矛盾，随着时间的过去，矛盾越来越深，我全家是坚决不卖给他了，现在房子建起来了，我全家答应退给他所有的钱，并按买地钱的20%作为违约金赔偿给他，请问这样我们有理嘛？   PS: 之前在买地时双方签了一个私下买地协议，大概内容是买些地给他，建成后房子的分配问题