ip制限のベーシック認証を用いた場合のクローラーさんについて

携帯サイトを作成しております。
今回、下記のサイトを参考にし、ipアドレスを用いて
携帯からのアクセスの場合はベーシック認証を行なわず
パソコンからのアクセスの場合はベーシック認証を行なうように
しようと思っております。
http://www.skytown.ne.jp/support/htaccess/ht-ip- …

ただ、ひとつ気になったことがあります。
携帯のIPアドレスからはベーシック認証を行なわず
それ以外のIPアドレスからはベーシック認証を行なうと
クローラーさんを確実に弾いてしまいますよね？

クローラーさんのIPアドレスを１コ１コ調べてIP制限を
解除する方法も考えたのですが、カナリの量があるため
実用的ではないですよね。

そこで、１つ考えてみました。
パソコンをはじめ、クローラーさんが来たときに
ベーシック認証が行なわれ、認証に失敗したときの
戻り先URLを作成し、そこにサイト名とサイトの概要を
meta要素に書いておくというものです。
あとは、body内にも「携帯専用」とQRコードを載せておこうと
考えております。

そして、携帯から認証に失敗したときの戻り先URLに
直接アクセスがあった場合、携帯のサイトにリダイレクト
させようというものです。

けれど、これはクローラーさんが認証に失敗したら
戻り先URLに飛ばされ、飛ばされたURLの情報をクロール
することが前提となってきます。

クローラーさんについて、あまりくわしくないので
上記の方法ではたして戻り先URLがクロールされ
携帯用の検索エンジンに登録されるかが不安になったため
質問いたしました。

ぜひ、ご教授のほどよろしくお願いいたします。

No.1 ベストアンサー 回答者： umasikajiro 回答日時： 2008/06/05 19:10

.htaccess の中身を以下のようにしたら行けるのでは？

携帯もブラウザ名で許可した方が楽な気がする

###### .htaccessの中身########以下検索エンジンのUser-Agent
BrowserMatchNoCase "Googlebot" Lilith
BrowserMatchNoCase "Slurp" Lilith
BrowserMatchNoCase "Crawler" Lilith
BrowserMatchNoCase "msnbot" Lilith
##### 以下は 携帯電話のUser-Agent
BrowserMatchNoCase "UP. Browser" Lilith
BrowserMatchNoCase "DoCoMo" Lilith
BrowserMatchNoCase "CLDC" Lilith
BrowserMatchNoCase "J-PHONE" Lilith
#### 以上までが許可するブラウザ(名称の一部) 以下は認証部分
AuthType Basic
AuthName " password please
AuthUserFile "/home/hoge/.htpasswd"
<Limit POST GET>
require valid-user
Satisfy any
# ↑これが肝
## User-Agentで一致するかまたは パスワード入力となる
order deny,allow
deny from all
allow from env=Lilith
</Limit>
#### .htaccessの中身は以上

参考URL列記
http://httpd.apache.org/docs/2.0/ja/mod/mod_sete …
http://www.yuzuriha.sakura.ne.jp/~akikan/kaigai/ …
http://www.openspc2.org/userAgent/