亲戚骗买了房子 爷爷和奶奶共有一套公房（目前没有买产权），由于奶奶去年已经去世，而且爷爷你觉得自己年纪已高，所以将这套房以低价卖给自家人（即爷爷收取远远低于市场的价格作为自己的晚年保障，就将这套房过户给付钱的人）。最后经过大家（这里的大家并不是爷爷奶奶的所有子女，只有部分子女到场参加了协商，爷爷的其他子女没有到场，但并没有放弃自己的投票权利）商定后，决定由我来付钱，并过户给我（但是整个协议没有任何字据）。
又由于我在外地工作，所以大家同意在2011年2月（即春节）时，我回来付钱并过户给我。但实际在此之前其他亲戚就以一借口骗买了这个房子。目前爷爷也觉得自己没有办法。
我的问题：
在这种情况下是否有办法可以追回这套房子，或认定这个交易无效？