新幹線に乗ったら指定の隣におばさんが座っておりました。

新幹線に乗ったら指定の隣におばさんが座っておりました。
おばさん「指定と知らんかった。金払うから」言ったけど
予約してないし困るでしょって言って座る。隣だからいいかと思って。
そしたらその席のおじさんが来て私に文句言ってくるから
違うんです。このおばさんが悪いって説明したのに車掌さんもわかってくれなくて
結局私が悪いみたいになった。おばさんは降りたいった（別の車両？確認してない）
結局のところ座れたんだからいいと言えばいいのだけれど納得がおきないのです。
この場合どうすればよかったのか教えてください。