![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?e8efa67)
No.1ベストアンサー
- 回答日時:
優先事項としては、相手のサーバがrobots.txtで指定している場合はそれに従うべきでしょう。
「Crawl-delay」が指定されていれば、これに基づいてクロール間隔を設定すると良いです。robots.txtの設定・書き方、アクセス禁止・制限、ロボット・クローラー - Google、Yahoo、Bing、Baidu、Naver、Cuil、DotBot
http://memorva.jp/memo/website/robots_txt.php
robots.txtが配置されていない場合は、先方に連絡して相談してから決めるというのが最良の方法になると思います。
なお、検索エンジンは結果として自サイトにアクセスを誘導してくれますから大体歓迎されますが、スクレイピングについては歓迎されないかも知れません。マナーを気にされるのであれば、やはり先方に相談するのが一番だと思います。
ご回答ありがとうございます。
robots.txtには、「Crawl-delay」等のクロール間隔を設定する際の参考となる指定はなされていませんでした。
勝手を申しまして誠に恐縮ながら、先方に相談するのは避けたいと存じます。
というのも、先方に相談すると、先方担当者も仕事を下手に増やしたくないでしょうし、
「ご遠慮ください」の一言で終わりそうな気がするためでございます。
ですので、当方でご迷惑にならない範囲を模索し、皆さんに相談させていただいた次第でございます。
アドバイス、感謝いたします。
No.2
- 回答日時:
> 勝手を申しまして誠に恐縮ながら、先方に相談するのは避けたいと存じます。
> というのも、先方に相談すると、先方担当者も仕事を下手に増やしたくないでしょうし、
> 「ご遠慮ください」の一言で終わりそうな気がするためでございます。
それなら無断盗用ですね。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
「DNSサーバーを自動的に取得す...
-
DNSサーバを設定したのですがns...
-
同じ独自ドメインを2つのサーバ...
-
”Tortoise SVN” と ”Subversio...
-
別サーバに構築したApache+Tomc...
-
サーバーというのとメインフレ...
-
社内でプロキシサーバ(Squid)の...
-
ワークグループ設定のPCの名前解決
-
サーバルームの空気を換気したい
-
ロリポップメーラーで受信のメ...
-
squidのパフォーマンスチューニ...
-
Microsoft Outlookの受信日時が...
-
サーバ構築の要件定義書の作成方法
-
ウェブサイト運営費
-
notes のメールがループし送れ...
-
プロキシサーバとDNSサーバにつ...
-
LinuxからWindowsのbatファイル...
-
Linux の NTPクライアント設定...
-
複数IPアドレスによるサーバ運...
-
サーバが攻撃される危険について
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
DNSサーバを設定したのですがns...
-
「DNSサーバーを自動的に取得す...
-
”Tortoise SVN” と ”Subversio...
-
同じ独自ドメインを2つのサーバ...
-
ワークグループ設定のPCの名前解決
-
サーバーというのとメインフレ...
-
プロキシサーバとDNSサーバにつ...
-
LinuxからWindowsのbatファイル...
-
複数IPアドレスによるサーバ運...
-
pingでポートの指定
-
サーバルームの空気を換気したい
-
別サーバに構築したApache+Tomc...
-
gitとgiteaの違いについて
-
モニターなしのサーバとはどん...
-
pingは通るけどサーバに繋がら...
-
Microsoft Outlookの受信日時が...
-
社内でプロキシサーバ(Squid)の...
-
ntpサーバの置き方
-
APバッチサーバとWebAPサ...
-
NFSクライアントでlockdがハン...
おすすめ情報