购房权转让问题 ２００５年，单位准备集资建房，一位同事由于资金不足，将购房权转让给我，我付给他转让金７０００元，但是由于种种原因，房子一直没建，２００９年我向他要转让金，他退回２０００元，购房权转让协议我们还各自留着。现在单位又准备建房，他不让我用了，说我已经违约了，剩余的５０００元不再退还，请问他这样做合理吗？我很气愤，我应该怎样做？我还能享用他的购房权吗？