こちらの都合で保険屋さんに喫茶店に来てもらったので支払いは全て私がしたのですが、友人にありえないと言われました。

この間とある喫茶店で会計してる時に、入店してきた友人と会った。
後日その友人と会って（他にも１人いた）、その時に友人から「この間一緒にいた人、お母さん？」と聞かれ
「いや、保険屋さん」と何も考えずに正直に答えた。
で、「え？保険屋さんと喫茶店で話するの？」って聞かれて、そうなった経緯をかいつまんで話した。
もう15年ぐらい同じ担当さんで気心も知れており、今回は自宅がリフォーム中で音がうるさいので喫茶店で会ったって。
そしたら「えーでもその保険屋さんってお客さんにお金払わす人なの？そういう保険屋信用できない」って言うんだよね。
用件が終わった時、その人は自分の分は自分で出すって言ってくれたんだけど、
今回は私の方の都合で喫茶店まで来て頂いたのでとこちらが支払った次第。
だけどその友人だけでなくもう一人の友人も、例えそうだとしてもお客さんに御馳走になるってありえない。
逆に言えば無理矢理こっちが払うって言うのは、保険屋さんを見下してるみたいで不愉快な行動だと思うって言われた。
そんなつもりは全くなくて、本当に単純にこっちの都合でこうなったからこっちが払ったんだけど
それって失礼な行為だったんでしょうか。
割と本気で分からなくて、忌憚のないご意見をお聞きしたいです。