我们家买的农村房子，属于集体土地，写了个私人协议，结果过了几年我们想把房子卖出去，结果买主看了协议

我们家买的农村房子，属于集体土地，写了个私人协议，结果过了几年我们想把房子卖出去，结果买主看了协议说这个协议根本没用，然后我去找了国土局，国土局说我们不是本村的过不了户，协议也没用，然后我又去找原来的房主，结果他说我不管，想退就退百分之五十。我想请教一下，现在该怎么办？假如诉讼对方退回房屋款，能打赢官司吗？能将房屋款全部退回来吗？