スクレイピングに関して

現在はローワークのデータをスクレイプするシステム作ってますが

例えば豊岡市で検索しても、八王子市で検索しても全て同じアドレスに
https://www.hellowork.go.jp/servicef/130020.do
に飛んでしまう為、スクレイピングが不可能な状態です。しかし、ハローワークをスクレイプしたサイトは多数ありますし、出来るのだと思うのですが、どうやったらできるんでしょうか？？

恐らくHTTPリクエストで同じ値を飛ばし、受ければ取得できると思いますが
<input type="text" name="chiku1" value="豊岡市" />

$post = $_POST['chiku1'];

これでもできません。どうしたらいいでしょうか。

No.2 ベストアンサー 回答者： hogehoge78 回答日時： 2012/06/23 00:19

Firefoxのアドオンに、「Live Http Header」というものがあります。

実際に検索値を入れてリクエストすると、上記アドオンでそのリクエストのHTTPヘッダがどの様に組まれているかが流れてくるので、ソレを見ながらトレースしてみては如何でしょうか。

参考URL：https://addons.mozilla.org/ja/firefox/addon/live …

No.1 回答者： shimix 回答日時： 2012/06/22 15:39

たとえばfile_get_contentsであれば第三引数にcontextのリソース（stream_context_createで生成したもの）を引き渡せます。

context生成時のオプションを確認してください。

http://jp2.php.net/manual/ja/context.http.php

POSTデータはcontent・・・というのは説明不要ですよね（汗


他の手法でも同様です。HttpRequestだとPOSTデータはaddPostFieldsで追加します

http://jp2.php.net/manual/ja/httprequest.addpost …

この回答への補足

三番目にコンテントで囲んだ豊岡市を入れたら良いですか？

補足日時：2012/06/22 15:51