休憩時間終わり際に先輩に話しかけられて休憩時間オーバーしてしまう、私が悪いんだけどなんか対策ないかなあ？

私が悪いんですが…
昼休憩が終わる５分前に席を立って持ち場に戻る準備をしたり休憩室を出ようとしていても、
一緒に休憩してる先輩が絶対話しかけて来るので毎回休憩時間を過ぎてしまう…
疑問形だったりするので無視出来なくて毎回答えてしまうんだけど
(その話が終わっても次の話題に行こうとするので無理やり終わらせたりはする)
、とうとう別の先輩に｢毎回毎回休憩時間過ぎるのやめてよ！！！時間守って！迷惑！｣
と持ち場で怒鳴られてしまい、恥ずかしいやら申し訳ないやらで落ち込んでる。
そっからは終始イライラしてる様子だったし、普段から溜まってたんだろうな…
自分の八方美人さを何とかしたい…とは言いつつも、本音では何で毎回話しかけて来るの？
行こうとしてるじゃん空気読んでよ！と思ってしまう…いろんなイライラで眠れない。長文ごめんなさい…