![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?e8efa67)
Google検索結果に対して、スクレイピングを実行したい。
Webサイト上で、JavaScriptなどの処理で、
バックグラウンドでGoogleカスタム検索などを使用して、
複数サイトに対して検索後、Googleの検索結果に対して、
データを加工して、サイト上に一覧表示したいと考えております。
サーバー負荷を考慮して、クライアントサイドスクリプトのJavaScriptを
検討しておりますが、他に最適な言語はありますでしょうか?
【質問まとめ】
1.スクレイピングの実行処理をサイト閲覧者に分からないようにバックグラウンドで実行する事は可能でしょうか?
2.Google検索結果に対して、データを加工する事は可能でしょうか?
3.サーバ負荷が掛かりにくい最適な言語について
以上、ご教示頂けますと幸いです。
宜しくお願い致します。
A 回答 (1件)
- 最新から表示
- 回答順に表示
No.1
- 回答日時:
質問の物言いに妙にひっかかるのですが、要するにこれまでのスクレイピングに対して、端的にいえば、
・Ajaxなどを使い「jsベース」で描画するWebが増えたので、スクレイピングしにくい
・Ajaxで行っているDOM評価や値抽出は、従来のスクレイピングと同じことでは?
・サーバサイドスクレイピングの存在意義は?
ということではないでしょうか。
「サーバ負荷を考えて」とかおっしゃいますが、そもそも以前から、クライアントサイドでAjax使いデータを取得するほうが、サーバでスクレイピングせるより何倍も簡単で、ただ処理系が泥臭いjavascriptしかなく、しかも処理内容が丸見えで、他人様のデータを勝手に吸い上げているのがバレバレ、ということだけで、負荷の問題ではありません。
そもそもサーバ負荷などというのは一般論ではなく、スクレイピング手法とサーバエンジンの組み合わせや、データ設計で決まる話なので、「サーバ負荷を考えてクライアントでjavascript」というのは論法がおかしいです。
サーバサイドでXmlHttpモジュールを動かして、Ajaxデータを直にスクレイピングすれば、負荷は非常に軽いし、現在のサーバサイドjavascriptエンジンも動作は最適化されており、きわめて高速に動作します。
「サーバでAjaxスクレイピング」というのは、HTMLページ上のjavascriptを読みだしてうんちゃらするクライアントベースとは、全然次元が違うのですわ。
結論から言えば、サーバサイド一択です。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- その他(プログラミング・Web制作) パイソン。スクレイピング。Chromeドライバーの使い方を教えてください。 1 2023/06/14 21:55
- その他(SNS・コミュニケーションサービス) Yahoo!とGoogle検索のしくみの違いを教えてください 2 2022/08/14 01:53
- 格安スマホ・SIMフリースマホ GooglePixelで端末内のアプリを検索する方法を教えてください。 アプリ一覧に表示される検索ボ 2 2023/05/15 00:55
- 教えて!goo ググれカス! 6 2023/01/13 22:27
- Google Maps iPhoneのGoogle検索窓を通常の大きさに 戻す方法を教えて頂けませんか?(切実) 日本全国の 2 2022/10/02 02:08
- その他(ブラウザ) Google検索について質問です。 検索結果で出てくる。この赤丸の中のものの名前は何というのでしょう 2 2022/10/17 19:13
- ハッキング・フィッシング詐欺 Windows11 PCの不具合 4 2023/03/03 22:06
- Chrome(クローム) シークレットモード 何に使う? グーグルにも検索結果はわからない? 2 2022/03/30 14:07
- その他(IT・Webサービス) 検索サイトについて Yahoo、Google、bingなどのサイドでどれがおすすめですか?検索結果ど 1 2022/04/22 17:16
- その他(コンピューター・テクノロジー) ラズベリーパイ3B +ネット接続設定 1 2022/04/02 22:56
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
Wordpressでヤフー知恵袋やgoo...
-
Google検索結果に対して、スク...
-
Plupload(jqueryプラグイン)に...
-
仮アップ?
-
VBAによる第3、4水準文字の判定...
-
VB.NET2003 テキストボックスに...
-
JSPの処理の途中で、JavaScript...
-
正整数の半角数字かどうか判定する
-
csvファイルを読み込み、該当項...
-
初期入力モードを半角カタカナ...
-
デザイン時のVisible=Falseは実...
-
javascriptで「オブジェクトを...
-
JavaScriptでテキス...
-
C#でTextBoxに数値のみ入力可能...
-
変換テーブルを使った、文字列...
-
テキストファイルの更新日時を取得
-
ページ遷移時にアコーディオン...
-
C#でボタン名を変更しても動く
-
〔Excel:VBA〕マクロの実行が異...
-
htmlのfileタグに自動で値を入...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
javascriptをつかって売上管理
-
Node.jsのWebプログラム(javasc...
-
jqGridの入力内容をサーバに保...
-
外部リンクのクリック数を表示...
-
JavaScriptを使用して、クライ...
-
ASPによるEXCELファイルの操作
-
CSJSとSSJSの違い
-
IEでalertのみを無効にする方法...
-
3次方程式の実数解をニュートン...
-
JAVA SCRIPTとは、...
-
プルダウンリストを作りMySQLか...
-
クリックされたか判断するには?
-
ランキングサイトの構築って予...
-
独自の検索エンジンを作るには!?
-
PHPとjavascriptで共通なエンコ...
-
ASPでエクセルの起動
-
PDFにリンク組み込み
-
リアルタイム表示ホームページ...
-
Session切れ前にWarningメッセージ
-
クリックイベントに関して
おすすめ情報