他社内でのパワハラが目についてしまい、ストレスになるので退職するというのは、第三者から見てどうなんだろう？

今の職場は、業種的に大手の会社(O社)の業務の一部を請け負う形で、O社の大きなフロアにA社・B社・C社……と
それぞれ違う会社がそれぞれ入っており、私はA社の社員としてA社(自社)の島で仕事をしています。
そこでの人間関係や仕事については問題無いのですが、隣の島にいるB社のリーダーの、B社社員に対してのパワハラが酷く
退職を考えています。O社内での勤務については、異動を何度も相談していますが、人手不足なので対応出来ない
そもそも自社では無く他社のパワハラが酷いというのは、直接関係無いので異動理由にはならないと言われています。

他社内でのパワハラが目についてしまい、ストレスになるので退職するというのは、第三者から見てどうなんだろう？
と疑問に思い相談に来ました。そもそも、関係の無い人間だからと気にしない様にするのか…
それでも単純に隣の島なので、怒鳴り声が聞こえたり、パワハラを受けている現場を見ていると
非常に辛くなってしまうのですが、それは私が過敏に反応してしまっているだけなんでしょうか？
そこも踏まえて、第三者からの冷静な意見を聞きたいです。
よろしくお願いします。