我这边是一个村。三年前村委会说要盖房子由国家上面批下来的。好多人都交了五万定金，交了三年了到现在 我这边是一个村。三年前村委会说要盖房子由国家上面批下来的。好多人都交了五万定金，交了三年了到现在。然后也没给个交代。也不知道什么时候才开始盖，。家里的房子太破了，可是现在还没开始盖。现在想去村委会把钱讨回来，要是对方不肯退钱该怎么办？