房屋交易 买家私自闯入待交易房 卖家欲终止交易 买家要求赔偿违约金 买卖双方签订了房屋交易协议，内容大致为买家付2万元定金，若卖家反悔交付买家4万元。买家的哥哥在未经卖家允许情况下闯入待交易房，房屋钥匙始终在卖家手中。签订协议时，买家哥哥也在场。由于买家哥哥私自闯入卖家房屋，现卖家打算不进行此房屋交易，买家则用所签订的协议为由要求卖家付4万元给买家。请问专家，卖家此时该怎样做？