残業あり総合職の妻に頻繁に夜の生活を求めるのは思いやりがないだろうか？

お互いに正社員共働きの家庭の人が居れば聞きたいんだが、
残業あり総合職の妻に頻繁に夜の生活を求めるのは思いやりがないだろうか？

うちは共働きで妻の方が朝1時間ほど早くでて残業して、夜は同じくらいに帰ってくる(21:00前後)
ちなみに稼ぎは妻の方がかなり上…
平日の料理・洗濯1回は基本的には妻が担当(その他の家事は休日にまとめてやる=俺が全てやる)。
付き合って6年で入籍、今年で結婚4年目子供はいない(いらない)

俺が毎日でもしたい派で今も週3～4日はあるんだけど、もっと毎日したいな～と言ったら
妻に「今だって仕事あるのに深夜まで寝れなくてクタクタになってるのにこれ以上回数増やすなんて無理！
思いやりとかないわけ？いい加減にして！」と真面目に怒られてしまった。
夫婦のことなんで一般論の意味のなさは承知なんだが…もっと平日家事負担をすればいいのだろうか。
それともそういう望み自体が俺のわがままなのか…