義父の会社に子連れで行くのが嫌なんだけど旦那にわかってもらえない

義父の会社に子連れで行くのが嫌なんだけど旦那にわかってもらえない

義父は孫大好き人間で、いつでも遊びにおいでって
言ってくるんだけど、私は他にも仕事してる人がいるんだし行きたくない。
会社に遊びにっていうのもよくわかんないし
でもそれを言うと旦那(義父の会社で働いてる)に
「従業員の人たちもかわいいからおいでって言ってるよ！気にしてないよ！」
って返される。
そりゃ経営者の孫なんだしいい顔するしかないだろうよ…って
言ってもそんなんじゃない！の一点張りでわかってもらえない

私もたまに在宅で出来る仕事の手伝いをしてて、
昨日出来上がった書類を会社に持っていくから
子どもを義母に見てもらってたら会社にいた義父に
「孫ちゃんは一緒じゃないのか…いつでも来ていいのに」って露骨にガッカリされるししんどい

旦那より義父自体にキツく言うしかないのかな