我和一位女性发生过几次性关系，那都是以前的事啦，最近又有一次我让他到我店里来 我和一位女性发生过几次性关系，那都是以前的事啦，最近又有一次我让他到我店里来，结果她老公来啦，当时我也正好从店里出去啦，后来她老公就找我麻烦了，还说我以前都是强奸他老婆了，问我要赔偿？我该咋么办？