職場の勘違いオッサン、こういう時はどう断れば、相手は諦めてくれるでしょうか？

相談させてください。当方20代の女です。
先日、うちの部署の上司が支社に異動になったので、
その部署の人たちみんなで送別会を開きました。

その時に私は、せめてもの感謝の気持ちとして、
その人に手作りのクッキーを渡しました。
その際、余分に出来たクッキーを他の参加者さんたちにも配りました。

それから数分後、私の隣に、同じ部署で働いている
4、50代くらいのおっさんが座ってきました。
そしてニヤつきながら、私に「よく見ると可愛いね」
「今度、個人的に話がしたい」と言ってきました。