飲み屋の旦那に不倫を持ちかけられた。私(独身)は奥さんと顔見知り。

意見が聞きたかったので投稿します。
飲み屋の旦那に不倫を持ちかけられた。
私(独身)は奥さんと顔見知り(ご近所さん)で、歳は離れてるけど
凄く話も合うし奥さんの作る料理が好きで通い始めた。

奥さんの料理&話が目的だからいつも一人で通ってたって
いうのもあって自然と旦那さんとも話すようになって仲良くなった。
お店以外でも3人で飲みに行くようになってしばらく経った時、
奥さんが眠いからって先に帰った日があった。
私達も今飲んでるの飲み終わったら帰ろうって言って普通に話してたんだけど
なんか終盤あたりから空気がおかしいなと感じた。
(うまい言い方が分からなくてすみません)
そう感じてからすぐに切り上げて帰ると、
向こうから
「寂しい夜は慰めてあげるから連絡して」
みたいなLINEが入ってた。
(実際はもっと直接的な書き方だった)
やっぱりあの空気は気のせいじゃなかったんだと思って
「冗談でもそういうの言っちゃダメだと思う」
とだけ返して、その後の謝罪はスルーした。
なんかもう色々ショックで旦那さんから借りてたDVDとかは
奥さんにすぐ返して、もうお店に行くのやめようってなった。