妻の連れ子の娘を小学校４年から育ててるのに、結婚式に出ないでほしいと言われてしまった。

妻の連れ子の結婚式に元旦那と出るから俺に遠慮してほしいと言われて
ケンカになってしまった。
先月には相手のご両親と３人であってきたらしい。
実父(元旦那）がいるのに継父（俺）が出るのはおかしいっていうんだけど、
娘が小学校４年から育ててるのにそっちのがおかしいだろ。
娘育てるためのＡＴＭだったのかと思うと娘と妻の顔も見たくないと思って
家出してしまった。
離婚したら俺が悪くなるんだろうか。