我是第二次结婚，因为当时相处的时间比较短，在结婚时，男方没有钱因为建房子他们家差好几万的债 我是第二次结婚，因为当时相处的时间比较短，在结婚时，男方没有钱因为建房子他们家差好几万的债，所以结婚时所有的家具和男人穿的都是我买的，结婚后我也一起给他还账，结果不到一年我发现他不真心在跟别的女人乱聊，因此争吵，到现在已经五年，感情破裂。我希望他把我在他们家付出的钱还给我。但他不同意。请问律师，我该怎么办？