学生時代からの友人にしつこく誘われる

社会人の方に質問します。学生時代の関係を絶ちたいと思っている友人から「連休中会わないか？」と誘われました。4年間大学では一緒にいましたが、社会人になって「やっぱり自分を見下す人とは一緒にいたくないな」と思うようになりました。大学卒業後、去年に一度だけ会いましたが、仕事の愚痴を話したら会社のことをすごく馬鹿にされたり、「アプリとか街コン行くなら、いい加減彼女できないとおかしいだろ」みたいに追い打ちをかけるようなことを言われました。正直、楽しくなかったです。
もちろん「予定あるから会えない」と言いましたが、「俺、お前を傷つけるようなことしたか？」とか誘いを断った理由を聞いてきます。「人を馬鹿にするのってそんなに楽しい？」「人の災難がそんなに面白いのか」とか学生時代から何度か警告しましたが、彼は「事実を言っただけ」と思っているとわたしは考えています。彼の性格は変わらないと思います。

学生時代の嫌いな友人から誘われた経験がある方、どのように断ったか教えていただけませんか？
よろしくお願いします。