リゾバで出会って今付き合っている彼氏がいます。 私と彼が付き合っていることは職場の誰一人知りません。

リゾバで出会って今付き合っている彼氏がいます。
私と彼が付き合っていることは職場の誰一人知りません。内緒にしてます。(噂が回ると面倒なので…)
最近、前から仲がいい男性から2人で出かける誘いをしてくるようになりました。彼と付き合う前までは誘われたら行っていたし、彼とその男性と複数人で出掛けたこともあるので急に断るのもおかしいなと思い、彼の許可を得て一緒に出かけました。
そしてまた誘われて断る理由がわからなくてOKしてしまいました。私からしたらその男性は楽しい友達です。　
ずっとこの感じを続けていたら彼氏に嫌な思いをさせるので正直に2人でまた会っていたことを言おうと思います。2人きりで会わない約束をするとその男性の誘いを断ることになります。なんで？ってなりますよね…
でも彼氏を傷つけることはしたくありません。

わがままなのは自分がよく分かっていますがどうしたらいいか分からなくなりました…
どちらも傷つけない方法はあるのでしょうか？