你好，我去年和别人合伙盖房子，当时签了份手写合同，说房子盖好了就给他们五万元 你好，我去年和别人合伙盖房子，当时签了份手写合同，说房子盖好了就给他们五万元，可是现在房照有可能办不下来我就没给他们钱，他们就说不给钱就不给房子，要不就退我盖房子的钱，当时说好了可以办房照的，他们算欺诈吗，我该怎么办