No.1ベストアンサー
- 回答日時:
優先事項としては、相手のサーバがrobots.txtで指定している場合はそれに従うべきでしょう。
「Crawl-delay」が指定されていれば、これに基づいてクロール間隔を設定すると良いです。robots.txtの設定・書き方、アクセス禁止・制限、ロボット・クローラー - Google、Yahoo、Bing、Baidu、Naver、Cuil、DotBot
http://memorva.jp/memo/website/robots_txt.php
robots.txtが配置されていない場合は、先方に連絡して相談してから決めるというのが最良の方法になると思います。
なお、検索エンジンは結果として自サイトにアクセスを誘導してくれますから大体歓迎されますが、スクレイピングについては歓迎されないかも知れません。マナーを気にされるのであれば、やはり先方に相談するのが一番だと思います。
ご回答ありがとうございます。
robots.txtには、「Crawl-delay」等のクロール間隔を設定する際の参考となる指定はなされていませんでした。
勝手を申しまして誠に恐縮ながら、先方に相談するのは避けたいと存じます。
というのも、先方に相談すると、先方担当者も仕事を下手に増やしたくないでしょうし、
「ご遠慮ください」の一言で終わりそうな気がするためでございます。
ですので、当方でご迷惑にならない範囲を模索し、皆さんに相談させていただいた次第でございます。
アドバイス、感謝いたします。
No.2
- 回答日時:
> 勝手を申しまして誠に恐縮ながら、先方に相談するのは避けたいと存じます。
> というのも、先方に相談すると、先方担当者も仕事を下手に増やしたくないでしょうし、
> 「ご遠慮ください」の一言で終わりそうな気がするためでございます。
それなら無断盗用ですね。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- HTML・CSS WEBサイト 画像の直接リンクについて 1 2022/11/16 10:41
- その他(IT・Webサービス) サイト。お問い合わせコードを抜き取り、このコードに、返信文字を入力 して、相手に送信は可能ですか。 1 2023/05/18 13:18
- その他(IT・Webサービス) ok waveとかいう終わってる過疎サイトの7000万って何? 1 2022/06/03 20:31
- 婚活 一度会うことをお断りした女性と会いたいと思っています。 自治体が独自で運営している結婚相談所に登録し 5 2022/10/20 23:22
- ビジネスマナー・ビジネス文書 緊急です、、、電話マナーで失敗してしまい、謝罪したいです… 就職先の施設が買収されることになり買収し 3 2023/03/07 12:06
- その他(メールソフト・メールサービス) メールが送信できない 発信側でできる対策 3 2023/05/11 10:22
- 会社・職場 スムーズな報告の方法。ご意見いただけると幸いです。 3 2022/08/05 03:19
- その他(IT・Webサービス) 無料ドメイン無料サーバでHP作りたい。 知り合いの飲食店のHPを作ってあげたいのですが、その店主には 3 2022/06/05 01:22
- サーバー メールサーバーについて詳しい方、メールサーバーの管理業務経験のある方、教えてください。 3 2022/11/12 18:24
- サーバー 無料のレンタルサーバで、スクレイピング(?)はできますか? 2 2022/05/07 10:09
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
”Tortoise SVN” と ”Subversio...
-
「DNSサーバーを自動的に取得す...
-
DNSサーバを設定したのですがns...
-
BINDのrecursive-clients設定
-
ワークグループ設定のPCの名前解決
-
Linux の NTPクライアント設定...
-
サーバーのipアドレスはグロー...
-
同じ独自ドメインを2つのサーバ...
-
複数IPアドレスによるサーバ運...
-
STUNサーバとは何ですか?
-
subversion の通信、レスポンス...
-
マネージャ・エージェントモデ...
-
pingは通るけどサーバに繋がら...
-
WSUSサーバの移行について
-
minecraftのサーバー
-
サーバ会社変更するのはリスク...
-
pingでポートの指定
-
デフォルトゲートウェイのアド...
-
FTPサーバの構成について
-
プロキシサーバとDNSサーバにつ...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
DNSサーバを設定したのですがns...
-
「DNSサーバーを自動的に取得す...
-
”Tortoise SVN” と ”Subversio...
-
ワークグループ設定のPCの名前解決
-
プロキシサーバとDNSサーバにつ...
-
pingでポートの指定
-
LinuxからWindowsのbatファイル...
-
別サーバに構築したApache+Tomc...
-
gitとgiteaの違いについて
-
WSUSサーバの移行について
-
同じ独自ドメインを2つのサーバ...
-
pingは通るけどサーバに繋がら...
-
サーバーというのとメインフレ...
-
Permission deniedエラーについて
-
社内でプロキシサーバ(Squid)の...
-
オンラインゲームなどプレイ時...
-
NFSクライアントでlockdがハン...
-
ntpサーバの置き方
-
マネージャ・エージェントモデ...
-
複数IPアドレスによるサーバ運...
おすすめ情報