既婚の上司に二人でディナーに行かないかと誘われました。ウキウキでオーケーしたのですが、これってまずくないですか？

少し相談です。

会社の上司に好意を抱いていました。
やさしくてかっこよくて、結構どんぴしゃな人だったのですが、既婚者であったし、
奥さんも美人で人当たりのいい人だったので、万に一つもないなと思ってあきらめていました。

しかし今日のお昼に、日曜日に二人でディナーに行かないかと誘われました。
そのときは何も考えず、ウキウキでオーケーしたのですが、お風呂でいざゆっくり考えてみると、相手は既婚者で、
しかも小さい娘さんもいらっしゃいます。
これってまずくないですか？