義母から同居を打診されたが、義実家には支離滅裂なことを言う精神病で引きこもりの義妹もいる

失礼します。
義実家と同居するか悩んでいます。

旦那は次男で転勤族の為、現在賃貸住まい。
私は専業主婦で３歳と1歳の子供がいます。
義兄夫婦は義実家と同じ市内に独断で既に家を建てています。
先日義父が他界し、義母が義父が建てた家を守りたいのと、
足も悪く将来的に二世帯にリフォームして同居を希望している話をさらっと旦那にしたようです。

義母だけなら私も全然構わないのですが、やっかいなのが義妹です。
詳しい病名は知らないのですが義妹は精神科に通院しており、いわゆる引きこもり。
たまに会って話すぶんには普通なんですが、
家事や親のお世話も出来ないし情緒不安定で支離滅裂なことをいう時もあります。
義母と住むとこの義妹がついてきます。

旦那には義母のことは心配だが、義妹と住むのは無理！とはっきり言っていますが
どうしてそんなに毛嫌いするのかと言われます。
私が嫌悪しすぎなんでしょうか…
かと言って義妹はひとりで生活出来ないので
追い出す方法も無いので私が受け入れるしかないのでしょうか。