恋愛相談です。 遠距離で5ヶ月目、会う頻度は月一ほどで、お互いの住んでる方面に交互に行き来しています

恋愛相談です。
遠距離で5ヶ月目、会う頻度は月一ほどで、お互いの住んでる方面に交互に行き来しています。

今月は彼女の方から来てもらう予定だったのですが、なぜか「何で毎回私ばっかりそっちに行くと思ってるの?毎回お泊まりになってるけど、待ち合わせして遊んで日帰りじゃダメなの?無理?って聞かれたらいつもいいよってそっちに行っちゃって何でいつも私だけって思っちゃうよ。まるでセフレじゃん。」と言われました。
おそらくここの「無理?」は、事情があって今月に彼女の方へ行けなくて、こっちに来れないかお願いした時の話だと思います。厳しいなら大丈夫だよとは言いました。

「何でセフレになるの?」と言うと、「毎回お泊まりなのと、毎回行為してるからそう思った」と言われました。
自分としては、遠距離で月一しか会えないし少しでも長く居たくてお泊まりしてました。行為は彼女も乗り気と言うか、そう言う雰囲気になったからしてましたし、「好き」と言ったりギュッとしたり愛情表現もしていたつもりです。

なのに「セフレみたいじゃん」などと言われ、一方的に怒られたことがすごくショックです。
私的にはこのような考えなのですが、私は間違っているでしょうか?
お互いの間違っていたり、アドバイスを教えていただきたいです。