好きな人にどう接していいかわからないと言われてしまった

私は19歳の学生です。
先日、うちの家に泊まりに来ていた彼に言われた一言についてです。
その彼とは学校で知り合い、周りからも仲が良いと言われていて一人暮らしをしている私の家によく泊まりに来ています。
私は11月頃から好意を寄せていて年末頃に勇気を持って告白しました。
しかし、その結果は良くないもので「いい友達でいたい」と言われてしまいました。
しかし、すぐに諦めきれるわけでもなく今も尚彼のことは好きなままです。
彼は今でも私の家によく泊まりに来ています。
その中で体の関係も何度もありました。
そして先日、私の家に泊まりに来た時に就寝前に彼の口から「どうすれば皆が幸せになれるのかわからない」と。
私から「どうしたの？」と聞いても「なんでもない」の一点張りでした。しかしその直後に
「お前とどう接していいかわからない。どうしたらお前は幸せになれるの？お前は俺にどうして欲しいの？」と言われました。
私は今の関係が無くなるくらいなら、離れるくらいなら付き合えなくても友人のままでいたいと思っていたので彼に正直な気持ちが言えず「そんなのわかんない」と言ってしまいました。
すると彼は「それはずるいよ」と言ってそのまま寝てしまいました。
この時の彼の気持ちはなんだったのでしょうか？
私はあの時何を言えばよかったのでしょうか？
正直に言えば今の関係が壊れてしまうということを恐れてきちんと伝えなかった私にも非はありますが、本当に壊したくないのです。
自分でも彼の気持ちを考えたりネットでいろいろと検索してみましたが何もわかりませんでした。
体の関係を持った以上、進展しないことは承知の上ですが、何を考えていたのかが気になって仕方がありません。
どうか教えて頂きたいと思ってます。
宜しくお願いします。

質問者からの補足コメント

• 

  告白した当時は付き合っている人がいましたが今現在はいないようです。
  私にも非があることは十分承知しております。
  貴重なご意見ありがとうございました。

  No.2の回答に寄せられた補足コメントです。 補足日時：2018/02/22 08:25

No.2 回答者： 銀座Clubママ 回答日時： 2018/02/22 07:36

体の関係があるのに、

コレは無いでしょ
他に女がいるのかな？

あなたも良くないよ

No.1 回答者： master_low 回答日時： 2018/02/22 06:32

彼が中途半端です。

ずるいのは彼ですよ。

友達ならやるな。
付き合わないならもう泊まるな。

得するのは彼だけです。
損するのはあなただけです。
そのうちわかります。そのうちね。