義母がいつも子どもを抱っこしていて辛い。もっと家族で触れ合っていたいのに

長いですが、相談お願いします。
結婚して6年、子どもが産まれて9ヶ月
新築マンションを今年購入しました
妻の両親もセカンドハウスとして私が購入したマンションを購入

今年の4月末に妻の父親が会社の経営に行き詰まり自殺しました。
それからは妻の母親と妻の精神状態が心配ということで
昼間は私の家で妻と義母が子育てしながら過ごし、
夜寝るときだけ義両親のセカンドハウスで妻と義母だけ寝に行き
私が育児のバトンタッチを行うという生活に変わりました。
簡単にいうとマンションでの二世帯住宅生活のようなものです。