我的丈夫因工作原因出差在外，有天晚上，他的同事来访，待到深夜10点才离开。那时，邻居目睹了我与这位男同事一同走出家门。为了防止邻居误解并在日后传话给我丈夫，我第二天便买了一条香烟赠予邻居，希望他不要多言。然而，他的要求并未就此停止。

从那之后，他开始在晚上发短信给我，先是简单地问候我“睡了没”，但随后内容逐渐变得暧昧。我深感困扰，以为不回复就可以息事宁人，但他竟然向我提出无理的要求，并威胁我如果不答应就告诉我的丈夫。我对此感到十分困扰，不仅因为他对我的态度，更担心他的进一步行为会给我带来更大的麻烦。

我现在感到非常无助和困惑，该如何妥善处理这件事情呢？我希望能够找到一种合适的方式，既能解决问题，又能确保我和我的丈夫的利益不受影响。请给我一些建议或指导。