夫＆義実家と、言った言わないの話でもめることが多いです。どうしたらいいのか分からなくなってしまいました。

悩みを相談させてください。だらだらと書いて読みづらくなってしまい申し訳ないです。
夫＆義実家と、言った言わないの話でもめることが多くどうしたらいいのかわからなくなってしまいました。
私はもし家族や友人に言われたことを忘れていたら、覚えていないことに対して一言ごめんと伝えます。仕事ならなおさらです。
しかし夫と義実家にはごめんの一言がなく、いやな気持ちになります。
もし金銭が絡むようなことなら言った言わないのことはうかつに謝らない方がいいかもしれないのですが、日常のちょっとした約束などこちらも一言ごめんと謝ってくれればどうだっていいことばかりです。