会社の食事会、社長の前にはいつも私が座っている。→今回は用事で欠席したいと同僚に伝えたら…

私のバイト先、年に一回から二回、社長や社長婦人も参加する食事会がある。
社長のおごりで、かなりお高いフランス料理を食べに行く。
社長と社長婦人は毎回必ず上座に座るんだけど、その二人の前に誰が座るかで毎回揉める。
なんで皆嫌がるのかわからなくて、毎回私が社長と社長婦人の前の席になる。（全員参加すると奇数なので私の隣は空席になる）
今回食事会の日に家の法事が重なって、アレルギー確認に来た先輩に欠席で伝えた。
そしたらバイト先の人たちがザワザワしはじめて
「救世主が来ない！」「社長に日程の打診を！」と言い始め、社長もせっかくだから来てほしいと日程が変更になった。
今回で食事は5回目。
社長と社長婦人の前でも普通に食事できる私を「若いから怖いもの知らず」と言う人もいる。
なんだかバカにされているように感じたんですが、私の行為ってそんなに一般的ではないんでしょうか？