男の人の冷たく抑揚のない声で素で話す話し方が恐怖でたまらない

すみません、相談です。
男な人の素の話し方が怖いんです。
父がよく職場の人の悪口を言っていて、
私は幼い頃から世界で一番嫌いな人間は父親だと思ってきました。
しかし、お付き合いする人する人、
はじめは話し方も話す内容もとても優しいのですが
1年も経つと話し方は冷たく、父のように人の悪口や
人をバカにした話題などもナチュラルに話してくるのです。
仕事場の上司や先輩も、休憩時間や飲み会の時などに
奥様と会話してるのを小耳に挟むと
すごく冷たく抑揚もない声で会話をしています。
あんな言い方をされたら私は耐えられません。