相手の気持ちを意識し過ぎてしまう

何かを決めるときなど、都度、相手がどう思っているのが気になって、相手に任せてしまうのですが、相手が煮えきらない、曖昧な返事の時に、イライラしてどうしたいの？もういいって言ってしまいます。
自分の答えてほしい返事じゃない時も時々なってしまいます。
自分の気持ちをを先に伝えると相手が本当は嫌だけど合わせてくれているかもと思い、それがとても気になってしまいます。
自分の思い通りにならないとと言うかわがままとも認識していますが、上手く立ち回れる方法があればアドバイスをお願いします。