還付金について

初めて利用させて頂きます。よろしくお願いします。
困っているのは住宅借入金等特別控除についてです。
私は平成22年夏に離婚しました。その際に婚姻中に購入した住宅を妻に譲り、私は同年12月に他県へ引越しました。翌年の確定申告で住宅借入金等特別控除を申請し還付金が戻ってきました。その翌年も特に問題なく受理されていたのですが、今年になって税務署より住宅借入金等特別控除はその家に住んでいなければ控除の対象にならないと言われ、過去2年間の還付金返還、及び延滞税を要求されました。
調べたところ、控除対象は税務署の言うとおりで私の無知であったので、還付金の返還については納得しています。
しかし、延滞金についてはそもそも3年前の申告の時点で指摘されていれば発生することのなかったお金という認識があり納得できません。税務署は申告に不備がないか確認する事も仕事ではないのでしょうか。私の解釈では私が無知であった事も原因ではありますが、税務署にも落ち度がある気がしてなりません。税金関係に疎い為、どうか皆様のお知恵を拝借させてください。よろしくお願いします。

No.3 回答者： saltmax 回答日時： 2013/04/16 17:26

そもそも申告に間違いがなければ延滞にもなりません。

元々所得税に関しては
税務署がお前は、この税を払えということではなく、
私の収入はこうで税法に従って計算したこの税を払いますと
申告するもので、
税務署はそうですかと受け取るだけです。
それに間違いがあれば
時効に掛からない分は遡って修正するということになるのは
当然だと思いますけど。
駐車違反のレッカー移動で
駐車料金の上乗せ手数料が納得できないというような
論理と同じではないでしょうか。

No.2 回答者： 197658 回答日時： 2013/04/16 17:22

＞税務署は申告に不備がないか確認する事も仕事ではないのでしょうか

はい。申告書類に計算ミス添付書類に不備がないか確認しております。


申告納税制度ですので申告者が税法を遵守していることを前提ですので
毎年、毎年、「あたなは離婚してませんね？現在の場所に住んでいますか？」
などと全ての人に確認させる費用（税金）のムダ。

会社員でしょうから離婚して住所が変わってるのに総務課や経理課の社員が
何もぜす処理をしてる方が問題意識が低いです。

No.1 回答者： mojitto 回答日時： 2013/04/16 16:49

それがまかり通ってしまうと、悪意を持って申告した者勝ちになりますね。

（メリットだけあって、デメリットがない）

今の体裁は「税務署から金を借りた」ですが、考え方によっては虚偽の申告をして「税務署から金をだまし取った」とも言えます。
前者で済ませてくれてるんですから、あきらめましょう。