我和三个亲属共同出资建厂，后因资金不足，拿我们四家的房照贷款建的二楼 我和三个亲属共同出资建厂，后因资金不足，拿我们四家的房照贷款建的二楼，我们搬到楼上居住，一楼改成车间，工厂的法人是我弟，当时签的协议是:原房屋产权不变，楼上归集体所有。后来我们退出了，当时只退了现金部分，并未涉及房产，因贷款未还，房照在银行做抵押，现在要动迁了，我弟以我们已经退出为由，要将房产归他所有，我们怎么办