元旦那が子供を連れ回す

6年ほど前に離婚をし、シングルマザーで中学生の息子と暮らしております。
元旦那は携帯・住所・職場を変え音信不通となり養育費は最初の二ヶ月のみでその後支払いは一切されておりません。

子供が中学生になったことでスマホを持ち、SNSを通して元旦那と繋がったようです。
息子なので父親が必要なのか、頻繁に連絡を取りたまに一緒に遊びにも行っているようです。
以前、友達と公園に行くと言ったきり夜まで帰ってこず公園にも居なく連絡も取れなかったため帰ってきた子供を問い詰めたら、父親と遊んでた。ということがありました。
その時に相手に子供のLINEを通して連絡をし、『父親として子供に会いたいのなら養育費をきちんと支払うこと。そして心配をするので勝手に連れ回さないでほしい、会いたいのなら事前に私へ連絡をし日時とおおよその場所など知らせて下さい』と伝えました。
彼からの返事は、『お前に渡す金はない。』のみでした。
そしてその後も子供を誘ってはばれないようにコソコソ会っているようです。
保護者ではない人が黙って子供を連れ出し、仮に事故だの何かあった時にどうするつもりなのか。

中学生ですし会いたいという息子本人の意思も大切とは思いますが、養育費を払っていない現状あまり会ってほしくないという気持ちと、会う人や場所等嘘をつかれ、連絡も取れなかった場合何かあった時に私はどうしようもなくなってしまうことなど考えるとどうしてもこの状態に納得がいきません。
ですが、元旦那としては子供には会いたいけど養育費は払いたくないという都合の良い考えのもと、お母さんが知ったら会わせてもらえなくなるからと子供に口止めさせているようです。

実の父親とはいえ親権を手放し保護者ではなくなったのに、保護者である私に一言もなく未成年を連れ出すというのは犯罪にはならないのでしょうか？