我爸是轻化厂一名老工人若干年前轻化厂因改建占用其中一户并将我家房屋进行置换 我爸是轻化厂一名老工人若干年前轻化厂因改建占用其中一户并将我家房屋进行置换，同时厂里在我家地面上建房两间并附带小院，置换给我家，若干年后轻化厂因经营不善解体，我爸去世后至目前无人提及房屋的归属问题，因房屋陈年旧事，以及我爸等老一辈人疏于对房产的办理问题导致我家没有合理房产证明，本人从小居住至此，也未听及任何人提及房屋归属问题，2016年因棚户区改造我家属于赔偿范围，其中附带经济赔偿。但是，目前轻化厂原有退休老工人和部分解体的工人联名否认两间房屋并非我家财产，要求分割两间房屋财产，目前轻化厂并没有直接证据证明两间房屋属于轻化厂的财产，仅凭几个人口头证明我认为这不合理请问我该怎么办。