借款需要返还，其它的不用。

对于3万元，如果您没有给前男友出具过借条之类的借款凭证，您可以认为是赠与行为。但具体还要看这3万元是以什么方式给您的。至于他要到学校搞坏您名誉，您可以明确告诉他这属于侵权行为，甚至有可能构成犯罪。如果他有过激行为，建议您及时报警，确保人身安全。

你好，赠与的金钱可以不退还的。