彼に「お前は世間知らずでものを知らない」と言われ続けて自信がなくなってきた。

彼に「お前は世間知らずでものを知らない」と言われ続けて自信がなくなってきたので聞いて欲しい。

交際相手は何年も前に離婚が成立してる人なんだが、子供や元妻とは離婚後別居して別の住宅を借りているにも関わらず、住民票は移動していないらしいんだ。
相手からは「自営業はこういうものだ、税金とかローンの関係があるから動かせない」と聞かされている。
(因みに自営の事務所と、彼の居住実態のある場所は、それぞれ元妻がまだ住んでる持家とは別)
でもそれって、住宅ローンは不正利用じゃないの？住民票って、住んでるところにしないのはダメじゃない？場合によっては相手も母子手当ての不正受給になるのでは？と、戸建てを買ったことがない・自営業の経験のない私は心配になってしまって…。

結婚を前提に付き合ってるけど最近うまくいってないし、これらがよその人から見てもおかしいことならこれを機に別れようかとも考えてる。
参考までに、彼のやっていることはよくあることなのか、おかしいことだと思うか聞かせてもらえないだろうか…。