你们之间的贷款合同是如何约定的？是否有这样的条款呢？

除非出现约定或法定原因 银行不得将贷出的款项随意收回

银行的贷款合同一般是很全面的，你看看合同中的约定，如果银行没有按照合同约定收回贷款就是违约行为。

应当按合同约定，否则你有权拒绝还款

银行如果违反合同约定收回贷款，则构成违约，可追究其违约责任。