主人との体力の差が大きくて困っています。どうしたら体力をつけられるでしょうか。

主人との体力の差が大きくて困っています
主人は元体育会系で私は文化系の部活しかしたことがありません
2人でジムに通ったりしていますが、睡眠時間が少なかったり疲れ気味だったりすると
主人のやりたいことが半分くらいしか出来ずに休日が終わってしまいます
主人も体力差は認めていて私の体力ならこれくらいかなと見越して計画を立ててはくれるのですが
旦那の目算以上に早く私がギブアップすると本当にがっかりした顔をされてしまいます
ただでさえ自分の体力なら100したいことを妻に合わせて70で計画しているのに、
それが結局70すら無理で50で終了となれば主人ががっかりしてしまう気持ちもわかります
主人のしたい事は「夫婦でしたい事」で、自分だけがしたい事は別に時間をとってやっています
どうしたらせめて主人ががっかりしない程度の体力をつけられるでしょうか
ジム通いしていても、ジムでの疲労で旦那に迷惑をかける事はあれど、
あまり主人との体力差が埋まってる感じはしないです
この調子だと子供が生まれても8割くらい主人の負担になってしまいそうで申し訳ないです