自分勝手な夫の職場の先輩。仕事終わりにしょっちゅう誘ってきて、断ると逆ギレ

相談です。
夫の職場の先輩が、自分勝手すぎて悩んでいます。
平日の仕事終わりに、しょっちゅう夫を趣味に誘ってきて、
断ると逆ギレして、翌日からの仕事に差し障るくらいの嫌な態度になります。

平日だけでなく、休日も月に２回は誘われます。
早朝から夕方まで付き合っているにも関わらず、
その後の夕食を断って帰ると、付き合い悪い！とキレます。
夫が休日出勤した時の代休すら、
その先輩に日にちを勝手に決められ、趣味に付き合わされます。

夫がどんなに断っても、お前の都合なんか知るか！と、お構い無し。
毎回付き合っている訳ではなく、３回に1回は断っていますが、
その度に仕事がやりづらくなるそうです。

その職場に入って４年目ですが、夫の部署では夫が一番年下の
後輩なので、断りにくいのを分かって誘うのだと思います。
度々家族の休日を邪魔されて、私も腹が立ちますが、何より夫が不憫です。

なんとか、上手くその先輩をかわす方法はありませんか？
お願いします。