俺の仕事中で不在の昼間にやってきて俺の帰宅前に帰っていく嫁の親はおかしいんじゃない？

俺がおかしいのか神経質すぎるのか常識がないのか皆の意見が聞きたい。

義両親、実両親共に近場に住んでるのでちょくちょく我が家を訪ねてくるんだが
俺の両親は俺が仕事終わって帰ってくるまで部屋に上がらずに
マンションの駐車場の車の中で俺が帰ってくるまで待ってる。

だが義両親は必ず俺の仕事中の昼間にやってきて、
俺が帰宅する時間が近づくとに退散する。
子供が生まれてその頻度がかなり多くなってきたので、
我慢の限界がきて妻に俺のいない時間に誰も部屋にあげないでくれ、
俺も妻がパート等で不在の時は誰も家に上げないと、
ルールを決めたんだが、妻、義両親共に超絶不満そう。

普通、一家の主がいない時に上がり込んで挨拶もなしに帰るっておかしくないか？
俺の部屋は鍵もなく自由に入れるので、色々物色されてるんじゃないかと、かなり気分が悪い。
同居でも無いのに義両親と同居してる気分。

俺は都会育ち、妻は田舎育ちってのもあるのか価値観の違いはかなりあると思う。
同居してないのに義両親のことで悩むなんて思いもしなかった。