当时合同中有没有约定每年的房租是不变的。

你好，按照合同约定的金额缴纳房租。
你说的“以修隔壁房子等借口为由来影响我正常营业”具体指什么？
如果不影响你营业，你仍然可以按照原16000付，他无权收回房子。

房主无权涨房租。如果他的行为影响倒你的经营，可要求他赔偿。

你可以要求按照原约定继续履行合同。

合同期内房东应按合同履行，不能随意涨房租。