発達障害とパニック障害持ち20歳。家族にも迷惑だと思われてるんだと確信できたんだけど、出ていくべきかな。

愚痴
発達障害とパニック障害持ち20歳♀
大学入って一年でメンタル病んで中退して、アルバイトを転々としながらお金をいれて(月五万)実家に済ませてもらってた。
正社員になるために就活もしてたんだけど、まずはパニック障害を寛解させることと、発達特性をカバーできるように働く上で必要なスキル(マルチタスクとかコミュ力とかPCの扱いとか)を身に付けることを優先していたから今年は公務員一本に絞りこんでた。
これは親に勧められて、治療を優先した。
で、３日前公務員試験が落ちてたのがわかって一般企業の就活も視野に入れ始めてたんだけど、今日親から
「この前ゾッとしたんだけどね、弟(今高校生)が私子を見習って高校卒業したらニートになろうかなーって言ってたのよ」って何気ない感じで言われた。
昼間は過呼吸起こしたりしながらも必ﾀﾋで毎日バイトに行って家にもお金を少額ながら入れてたから、まさかニート扱いされるとは思わなかったし、弟に自分が悪影響を及ぼしてることや、親が私の存在をゾッとするものだと感じているのがショックだった。
このまま家にいることでこれ以上弟に悪影響を及ぼしたくないし、家族にも迷惑だと思われてるんだと確信できたんだけど、出ていくべきかな。
安定した職に就いてる訳じゃないし今のバイトやめて住み込みの工場みたいなところでバイトすれば家族に目障りって思われずにすむかな。
どうしたら良いだろう。