皆さん、自分は介護職員ですが職場の方に誤解させたのではと思っています。職場には2階と3階に風呂場があ

皆さん、自分は介護職員ですが職場の方に誤解させたのではと思っています。職場には2階と3階に風呂場があります。利用者さんがお風呂に入った日の事です。その日時間が余った為4階の男子職員トイレを掃除して、2階に降りて風呂場を掃除して、続いて2階の利用者さん用の男子トイレと女子トイレを掃除しました。(女子トイレは人が居ない時に作業し人が来たらすぐ出るようにしました。)順番としては話の通りですが間違って2階を先に掃除して4階を掃除したと言ってしまった為、あれ4階の(男子職員)トイレを掃除してから(2階)両方掃除したんだっけと変な言い方になり、話し相手の方に女子トイレに入ったんですかと驚かれたのですが、これは4階の女子職員トイレに入ったと誤解されたと思って間違いないでしょうか？この場合誤解を解くにはどうすればいいでしょうか？この質問を女性の方も見ていたら対応策をお願いします。