孙律师，你好，我是一位离异单身女人，一年前我做了他的情人，和他保持了一年半的关系 孙律师，你好，我是一位离异单身女人，一年前我做了他的情人，和他保持了一年半的关系，之前我朋友的房子给我住让我装修，他给了我五万块装修用，当时并未写借条，现在我找到自己爱的人了，想自己成个家，跟他提出分手，他不愿意反而威胁我让我还他那五万，还把我朋友正在装修的房子钥匙换了，威胁我说如果不还钱就押房子，并且到我住处骂闹还钱，请问我该怎么办