![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?e8efa67)
No.1ベストアンサー
- 回答日時:
ウェブサイトのHTMLを解析してデータを抜き出すことを「スクレイピング」と言います。
「引っ掻き取る」という意味。必要な機能は、
(1)ブラウザのシミュレーション(Form送信やCookie処理など)機能
(2)HTMLを解析する機能
私は、Ruby言語+Mechanize(1の機能)+Nokogiri(2の機能)でやってます。Perlで同じようなことを行うことも出来ます。
「Ruby Mechanize Nokogiri」か「Perl Mechanize」で検索するとサンプルなどがあると思います。
例えば、クレジットカードの利用明細取得サンプル。
http://d.hatena.ne.jp/otn/20090815/p1
他のアプローチとしては、VBとかVBScriptでIEを自動運転する(1の機能)。ただしVBに2の機能のライブラリがあるのかどうか知りません。
IEの自動運転はRubyでも出来るので、Ruby+IE(1)+Nokogiri(2)でも出来ますね。
「スクレイピング」というキーワードを知ることができて、視界が広がりました。
「rubyでカンタン!スクレイピング! Hpricot - 駆け抜けろ!プログラマの青春」とか
「phpによるスクレイピング処理入門」
というサイトに出会うことができて、しばらく楽しめそうです。
ほかにも有用なサイトがいっぱいありそうです。
phpでもスクレイピングができるようですが、rubyによる方法とで、到達点の違いのようなものがあるのでしょうか?
もし、何かおわかりでしたら、ご教授ください。
よろしくお願いします。
No.2
- 回答日時:
>phpでもスクレイピングができるようですが、rubyによる方法とで、到達点の違いのようなものがあるのでしょうか?
PHPのスクレイピング用ライブラリはよく知りませんが、出来ることに違いはないと思います。
すでにPHPをよくご存じでない限り、PHPは薦めません。「ウェブアプリケーションにはPHPで書かれた物がたくさんある」以外の長所はないので。今後「出来合いのウェブアプリケーションに手を入れながら使いたい」ということなら知っておいて損はないです。
この回答への補足
> PHPのスクレイピング用ライブラリはよく知りませんが、出来ることに違いはないと思います。
ありがとうございます。
了解です。
> すでにPHPをよくご存じでない限り、PHPは薦めません。「ウェブアプリケーションにはPHPで書かれた物がたくさんある」以外の長所はないので。
キッパリ!ですね。
よろしければ、その理由をもう少し教えてもらえませんか?
気になります。
rubyですが、日本人が開発されたんですね。
こちらも興味津々です。
おすすめの学習方法というか、何かアドバイスがあればお願いしたいです。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・ゆるやかでぃべーと タイムマシンを破壊すべきか。
- ・「I love you」 をかっこよく翻訳してみてください
- ・歩いた自慢大会
- ・許せない心理テスト
- ・字面がカッコいい英単語
- ・昔のあなたへのアドバイス
- ・かっこよく答えてください!!
- ・あなたが好きな本屋さんを教えてください
- ・スタッフと宿泊客が全員斜め上を行くホテルのレビュー
- ・【大喜利】【投稿~8/27】 こんなガソリンスタンド二度と来るか!なぜそう思った?
- ・これ何て呼びますか Part2
- ・人生で一番思い出に残ってる靴
- ・【お題】動物のキャッチフレーズ
- ・【お題】甲子園での思い出の残し方
- ・ゆるやかでぃべーと すべての高校生はアルバイトをするべきだ。
- ・「それ、メッセージ花火でわざわざ伝えること?」
- ・自分用のお土産
- ・人生で一番お金がなかったとき
- ・一番好きなみそ汁の具材は?
- ・泣きながら食べたご飯の思い出
- ・ちょっと先の未来クイズ第1問
- ・ゴリラ向け動画サイト「ウホウホ動画」にありがちなこと
- ・初めて自分の家と他人の家が違う、と意識した時
- ・単二電池
- ・チョコミントアイス
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
VBAで仕様書は書きますか?
-
プログラミングのコード量に関...
-
他人が作ったプログラムのメン...
-
空elseの有無
-
ノベルゲームを作成中なのですが、
-
きれいなコード vba vbaを勉強...
-
ホワイトボックステスト と ブ...
-
あるプログラムのコマンドライ...
-
PICマイコンのコピー(クローン...
-
65536は2の何乗なのでしょうか?
-
ドロップダウンリストの文字を...
-
「Outlookが他のプログラムによ...
-
正しい五十音順について
-
アルゴリズムとプロトコールの違い
-
C言語について 下の画像は do-w...
-
io.hをincludeするとそのような...
-
0除算して、落ちるプログラムと...
-
自動クエリとはどういうもので...
-
.cfgファイルについての質問
-
Sublime Text 3でのFortranプロ...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
VBAで仕様書は書きますか?
-
C言語(gcc), Linux, FTPプログ...
-
COBOLのCALL文がいまいちつかめ...
-
空elseの有無
-
きれいなコード vba vbaを勉強...
-
例外処理があまり使われない理...
-
プログラミングのコード量に関...
-
「ルーチン」という言葉の意味
-
PCの時刻精度
-
変数・オブジェクト名に漢字使用
-
クリップボードを排他的に利用...
-
C言語の質問です
-
テキストの折り返し処理について
-
VBからシャットダウンさせる方法
-
CからJavaの呼び出し
-
ソースコード改造 msペイント
-
Accessエラー処理
-
C++にオリジナル言語の解釈をさ...
-
C言語 kEYの空読み
-
ActiveXコントロールの作成(V...
おすすめ情報