不倫後の再構築、復縁の際の自宅について

初めまして、宜しくお願いします。

妻が不倫をしました。
浮気相手は私の自宅から車で１０分の場所に住んでおり、生活圏がかぶっています。
浮気相手とは示談を結び、今後の接触禁止を盛り込んでいます。

妻とは再構築を目指そうと思っているのですが問題があり、皆さんの意見をお聞かせ願いたいのです。

我が家は私名義で35年ローンで購入しました。
まだ30年ローンが残っています。
妻の希望で、妻の実家から車で5分かからない場所にあります。

浮気相手は我が家の場所を知っている所か、妻が家にあげていました。
そういう行為を自宅でしたかは解りません（個人的にはしていないと思っていますが…）

私個人としては再構築するにあたり、浮気相手がすぐ側にいる今の地域、そして自宅を知られているという事で、引越を希望しています。
それに対して、妻側が反対しています。
理由は、ローンが残っているので売却すると借金が残る（貯金から払わないといけなくなる）
妻の実家から離れる。新築の戸建てだったのが、古いアパートやマンションに変わる、等です。

私個人としてはそれだけの事をしたわけですから、当然の代償だと思っています。
何も妻側に家のローンを立て替えてくれとか言っていません。
私もそこで不便な生活をするわけです。それも含めて一緒に乗り越えて再構築しよう、と思っています。

妻のご両親は、娘にそんな事させるなら離婚しろ！再構築は認めない！それでも着いていくなら絶縁だ！！と言っています。

私は妻の実家近くでアパート等を探す、家の売却価格があまりに低い場合は売らない等言っているのですが、断固売却に反対のようです。

一般的に私の考えの方がおかしいでしょうか？
皆さんは自分の妻、夫の浮気相手に自宅を知られていて、さらに家に上がられていて、気持ち悪くないですか？
もしかしたらまた家に来て隠れて浮気を続けるかもとか、逆恨みした浮気相手に車を傷付けられたり等の嫌がらせを受けるかも、とかの心配はしないですか？
また、再構築するにあたって、同じ生活圏にいたら、近くのスーパーやショッピングセンター、コンビニで出会うかもしれません。
そんなストレスの中、スムーズに再構築できますか？？

私はそれなら、多少の損失が出てもいっそ引っ越して、新天地でやり直したいのですが…。

私は浮気をされた側なのに、再構築するなら妻側の言い分を全て聞かないと再構築できないという現状に、いまいち納得いきません。

皆さんの考えをお聞かせください。

質問者からの補足コメント

• 離婚よりは再構築、もしくは一旦離婚してから期間をあけて復縁、を目指しています。
  
  一応妻もご両親も謝罪はして下さっています。
  妻のお父様も、娘がすべて悪くてあなたに責任は一切ない。すまなかった。と言ってはくれています。
  ですがそれはそれ、これはこれのようで、損をしたりするような事は受け入れられない、そんな事考える奴とは離婚しなさい、って考えのようです。
  妻は私と復縁したいが、実家から離れたくないし損はしたくない（私の借金＝妻の借金になるので）との考えで、板挟みのようです。
  『親と絶縁しないといけないなら絶縁する。ただしあなたの考えは理解できない。』みたいな感じです。
  ちなみに妻側に慰謝料の請求等は行っておりません。
  これで結局引越も何もなしとなると、私はただ浮気されて好き放題されただけのみじめな男です。

  No.1の回答に寄せられた補足コメントです。 補足日時：2016/06/27 19:07

• 妻も書き込んでいたのですね。
  詳細なやりとりは見てませんが、質問の本文だけは見ました。
  まぁ何と言いますか…家では少し我侭なお姫様なんです。
  ご両親も大切に育てられたんだと思います。
  きっと娘には幸せに暮らしてほしいと思ってらっしゃると思うんです。
  私自身そこまで稼ぎが良い訳ではありませんし、住宅ローンの残債を折角貯めた貯金から払うことになれば今後の生活が不安になります。
  また、私自身が妻を責め立てたりしないかと心配なようです。
  私からしたら、それは自分のした事が原因なんだから覚悟してほしい、自業自得と思います。
  （もちろん感情に任せ責めあげるつもりは一切ありません）
  それを解った上で、それでもやっぱり娘には苦労させたくないとの思いがあるようです。

    補足日時：2016/06/28 21:16

• 妻自身は先の補足にも書きましたが、多少我侭なところはありますが、可愛い自慢の妻なんです。
  ちょっと振り回されるのもまた楽しいのです。もちろん家の事とかはきちんとやってくれています。
  ですので普段は特に不満はありません。
  そして、誰にでも本音と建前や、腹黒い部分、愚痴ってあると思うんです。
  こういう匿名の場所ですから、今の私みたいに丁寧に書かず感情に任せて書いていても、普段が普通ならそれで良いんです。
  そうやって愚痴を言ってストレス発散になるなら別に構わないと思っています。
  妻は実生活でも言われた事は何でも真に受けてしまって流すということができない性格なので、ネット上だと熱くなりすぎるところがあるようです。
  当然妻も今回の件は反省はしています。何て馬鹿なことをしたんだと泣いていたり、ずっと塞ぎ込んでいたり、かと思えば怒っていたり、甘えてきたり、やはり不安定です。

    補足日時：2016/06/28 21:24

No.1 回答者： さるちー 回答日時： 2016/06/27 18:39

あなた様のお気持ちはとても良くわかります。

嫌ですよね！
不倫だけでも最低行為なのに、家に上げるなんて！！
もっての他です。
奥様のご両親も最適です。
娘が悪いのにその対応はないです！
自己中親子ですね！
反省の色が見えません！

そんな状況で今後仲良くやっていけますか？
あなた様の精神がやられてしまう気がしてなりません。

離婚はやはり考えられないんですよね。