職場の先輩に「皆でイブイブに飲みに行こう」と誘われています。以前「皆で～」と誘われた時は、先輩と同期Iと私の3人だけでした。

私は入社一年目の女です。
以前、職場の先輩Mに親睦を深める為に皆で花火大会を見に行こうと誘われました。
一万発以上の打ち上げ花火と〆のナイアガラの滝が見ものだと聞いており、同期のIも「一度行って見たかった」と乗り気で出発前は二人で盛り上がっていました。
しかし、当日待ち合わせ場所に到着すると私とI、Mしかおらず、思わずIと顔を見合わせました。
今更断るのも気まずくMと二人っきりという訳でもなかったので、そのまま花火大会に向かうことに。
道中ひたすらMの自慢話を聞かされ続け、会場に着いたら着いたで手を握ってこようとするMを躱し、できるだけIにくっついて行動をしました。
帰路、雑踏に紛れて恋人繋ぎをやられてゾッとしましたが、車を出して貰っているのであからさまな拒否ができず…後悔先に立たずとは良く言ったもので、下手に気を使わず断れば良かったと思いました。
前置きが長くなってのですが、またMから「皆でイブイブに飲みに行こう」と誘われています。
彼の言う"皆"が今回何人なのかは分かりませんが、なるべく穏便に断りたいと考えています。
そこで相談なのですが、年長で役職が上の男性にはどのように断りを入れれば角が立たないでしょうか？
直接的な物言いをして自意識過剰と取られるのは避けたいです…。