我2011年经亲戚介绍定了一个单位的集资房，当时付了指标费，又到那个单位交了房子定金 我2011年经亲戚介绍定了一个单位的集资房，当时付了指标费，又到那个单位交了房子定金，可是房子一直没建，一年推一年，到了今年单位又要我交了几万说交了就会动工，可是年底了什么音讯都没有，我想等了六年马上七年了，我想把钱退了不买了，但是他们不退，指标费也不愿意退，我该怎么办？