我家的房子被别人说是他家的，并让开发商扣下了我家的房子 我爷爷暂称老人A，我爷爷有个邻居称老人B
老人B盖了个房子，由于各种原因与老人A进行了交换。老人A的房子是单位分配的。房屋交换时双方并没有任何的手续办理，仅仅是搬到了对方的家里去住，这一住就是10多年。
10多年后老人A去世，将房子留给了后人。
前段时间房价暴涨，到处在拆迁，也拆到了这里。老人B上门说我家的房子是他盖的，是他的。当初他只是将房子给老人A住，并否定房子是交换的。
并让开发商扣下了我家的房子（我家回迁时的房子面积比原先的小，开发商的人说缺少的部分补给了老人B）
由于老人A已去世，已经无人能证明房子当初是交换的。老人B找来很多熟人帮他证明房子是他盖的（他只找来人证明是他盖的，但没有人证明没有进行交换）
这种死无对证的这种情况下，如果打官司，能否要回那本属于我家的房子？
这样死无对证的官司是否很难打。