对方的理由不能成立

不会！
因为双方的权利义务不对等！

既然钱是你付的，发票放在你这里是应该的。
发票不是主要义务，再说只是口头说法，无书面凭证，根本就不能影响交楼的义务。
如果对方不按时交楼，你可以看看合同中相应的制约条款，然后追究对方的违约责任

   口头协议是有效的，但根据谁主张谁举证的原则，对方告你的话，要他举证，如果证据不足，很难得到法院的支持。
   交房是他是主要义务，你的主要义务是付款，给发票只是附随义务，所以你付完款后，他不应以没开发票为由不交房，你可以要求其承担违约责任。
    但这里要提醒你的是：根据交易习惯，如果你说的契税发票是一手证的发票，应当给他，如果是二手证的发票，理应归你。