紹介予定派遣、断るべきか・・・ - その他(ビジネス・キャリア) - 教えて！goo

至急どなたか相談に乗って下さい。
仕事を断るかどうか悩んでいます。
紹介予定派遣のお仕事に応募して、派遣会社に登録に行って来ました。
私は現在就業中で、派遣元に退職の意志は伝えてありますが、
具体的な日にちは曖昧な状況です。
一応自分の希望として○日と伝えてありますが、派遣先に話してみますと言われたままです。
そこで、今回応募した求人は至急来て欲しいとのことでしたので、
正直に今の状況を伝えました。
そしたら、「すぐ来て貰える人を優先するかもしれない」と結構高圧的な感じで言われ、
「あぁ・・・きっと選考漏れだろうな～まぁいいや」と思っていたのですが、
今日電話がきて「（開始日は）先方に待って貰うので面接に行って欲しい。」との連絡が。
しかし、応募する前はやる気だったのですが、よく話を聞いてやっぱり通常派遣がいいのかもと考えるようになったこと、登録に行った時の担当営業の高圧的な態度に不安を覚えてしまったこともあって、
「退職日が曖昧なので他の候補の方に譲って欲しい」と言ってしまいました・・・。
そしたら、「正直言うと他に経験者が居ない。うちは是非○○さんにお願いしたい」などと言われ、
退職日もきちんと決めてまた明日電話しますということになりました。
何だか他に候補がいないから私でもいいみたいな感じも否めません。
それよりも自分が紹介予定派遣で働くことに少し戸惑う気持ちがあります。
断りたい気持ちと、ここまで話を進めて申し訳ない気持ちと、色々と混乱してます。
他に候補が居ないということからかなり断りにくい感じなので、どうしたらいいか悩んでます。
どうかアドバイス下さい。