マイホーム購入を検討してて、候補地で迷ってる。非常識な人が向かいにいることだけがマイナスポイント。

マイホーム購入を検討してて、候補地のことで迷っている。
85坪の土地に古屋が残ってる状態なので解体費用はかかると思うが、
車庫スペースを３台分とってもまだ庭を作れる広さは魅力的。
大き目の団地なので、スーパー・郵便局・銀行・病院等団地の外に出るまでの距離がそこそこ遠いが
車があれば特に不便とは思わない。
魅力的なのは、抜け道のない団地なので静かなことと、高速ＩＣが車で10分ぐらいと近いこと。
あることが無ければ旦那も私も即決したいような物件だった。
その“あること”と言うのが、営業に案内されてその土地に行った時のことなんだけど
そこは先月まで賃貸で人が住んでた家で（築45年ぐらいだって言ってた）
今の所、引っ越して行ったそのままの状態。
１台分の駐車スペースがあって、アコーディオンタイプの門扉になってるんだが、
その門扉が開かれてて車（コンパクトカー）が１台止まってた。
営業の人、そこに私たちを乗せた車を止めて案内するつもりだったらしくて「あれ？あれ？」って感じ。
とりあえず前の道路に止めて私たちも降りて、そこで話を聞いていたら
道路の反対側の家から50代ぐらいの奥さんが飛び出してきて「すみませーん、ちょっと止めさせて貰ってて～」って。
全く悪びれる様子なくヘラヘラ笑いながら車を自分の家の前に止め治して（路駐です）家の中に入っていった。
私たちも営業さんも開いた口が塞がらないって感じ。
営業さん「鍵つけなきゃなぁ･･･」とか言ってた。
あの様子はかなり慣れてるっぽいと感じた。
引っ越して行って誰もいないから次の人が来るまでの間とか思ってるんだろうか。
その人の家も築40年かそこら、見学に行った土地に残ってる古屋と同じぐらいの経年に見えたが
駐車スペースは１台分で、別のセダンが止まってた。
物件そのものは、たぶん第一希望地の中ではこれ以上の条件に合ったものはないと思う。
が、その非常識な人が向かいにいることだけが巨大なマイナスポイント。
あなたなら近所付き合いをしなきゃいいだけと割り切ってそこに決めますか？
一事が万事と考えて他を探しますか？
夫婦で意見が割れてて（旦那が前者、私が後者）、色んな方のご意見を聞いてみたいです。