![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?e8efa67)
LWPを使ってHTMLを取得しようとしているのですが、取得可能のサイト、不可能のサイトがあります。
たとえばyahooのトップページは取得できますが、wikipediaは取得できません。取得できない場合、エラーメッセージは出ません。
このようになる理由を教えてください。
よろしくお願いいたします。
環境:windowsXP & ActivePerl、またはwindowsXP & cygwin
コード:
#wikipediaのトップページHTMLを取得する
use LWP::Simple;
$site = get "http://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%A4% …
print $site;
#yahooのトップページHTMLを取得する
use LWP::Simple;
$site = get "http://www.yahoo.co.jp/";
print $site;
No.2ベストアンサー
- 回答日時:
wikipedia では、LWP::Simple のアクセスを許可していないのだと思います。
get() の代わりに getprint() を使用すると、次のエラーメッセージが出ます。
$ perl -MLWP::Simple -e "getprint 'http://ja.wikipedia.ogr/';"
403 Forbidden <URL:http://ja.wikipedia.org/>
下記の URL でほぼ同じ問題を取り上げていますのでご覧ください。
参考URL:http://www.atmarkit.co.jp/bbs/phpBB/viewtopic.ph …
No.1
- 回答日時:
ユーザーエージェントで弾いてるんじゃないですか
Googleとかもlibwww-perlの方弾いてます
LWP::Simpleのリクエストヘッダはこれで403 Forbiddenとエラーページ返ってきてます
GET http://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%A4% … HTTP/1.1
TE: deflate,gzip;q=0.3
Connection: TE, close
Host: ja.wikipedia.org
User-Agent: LWP::Simple/5.814
LWPを使った場合はこれで200 OKでちゃんとコンテンツ返ってきてます
GET http://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%A4% … HTTP/1.1
TE: deflate,gzip;q=0.3
Connection: TE, close
Host: ja.wikipedia.org
User-Agent: libwww-perl/5.814
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- ノートパソコン 買うならどっちのノートパソコンにしますか? 1 2022/07/15 16:06
- 防犯カメラ・監視カメラ・小型カメラ 屋外用のIPカメラ(ライブカメラ)の位置情報について 1 2022/06/23 18:32
- Windows 10 プロファイルエラーについて 2 2022/12/16 09:31
- WordPress(ワードプレス) 【WordPress/PHP】取得した値(日本語)がエンコードされてしまうのを日本語のまま出力したい 1 2022/08/28 22:59
- CPU・メモリ・マザーボード Dell製ノートパソコンのメモリ増設についてです! 6 2023/06/10 21:31
- iPhone(アイフォーン) こちらWEB検索できるかが分かりません それからこちらの最安値があれば教えてください https:/ 2 2022/09/14 14:09
- デスクトップパソコン パソコンが重くなった 34 2022/06/14 19:41
- タブレット 第10世代 Fire HD 8 △(左向き)、〇、□のマークが表示されない 2 2022/12/18 17:02
- 工学 人間と人口知能の違い 3 2022/05/31 13:34
- その他(プログラミング・Web制作) pythonをjupiter notebookからmecabで頻出の高い単語の抽出について(Runt 1 2022/12/17 18:08
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
LWPでHTMLが取得できないことが...
-
例外処理のフローチャートの記...
-
モジュールの最大数はいくつな...
-
グラフのX,Y座標を取得したい
-
Excel VBA 定義されたプロージ...
-
大量の標準モジュールを解放す...
-
ActivePerl付属のPPMでモジュー...
-
AddressOf と同じ機能を持った...
-
"use CGI::Session"でエラーが...
-
Perlでモジュールをインストー...
-
標準モジュールを削除したい。(...
-
エクセルVBAでシートモジュール...
-
Excel VBA 標準モジュール内で...
-
EXECEL VBA コマンドボタンか...
-
VBのフォームモジュールと標準...
-
VBSがコンパイルエラーになりま...
-
sys/wait.hが見つかりません
-
VBAのモジュールについて教えて...
-
Excel VBA 『Call』で呼び出す...
-
VBでグローバル変数を宣言するには
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
Perlでgoogle newsのRSSを取得2
-
Web::Scraperの使い方で
-
mechanizeのタイムアウト処理に...
-
VHDLについてですが何がお...
-
PerlのWeb::Scraperと正規表現...
-
Perlで作成したCGIについて
-
Perl/Tk Entry に対して見出し...
-
python wxpythonについて質問です
-
条件分岐によってuseやrequire...
-
TwitterAPI1.1でGetメソッド(...
-
Perl/TkでURLを既定のブラウザ...
-
Perl/TkのWWW::MechanizeのGET...
-
LWP::Simpleでのgetについて
-
Perl LWPでのIPv6エラー
-
perlでhtmlファイルを取得した...
-
perlでのオブジェクト指向の書き方
-
Perl webのテキストボックスに...
-
Win32でInputBoxを実装するには?
-
Perl での XML 処理での DTD 宣...
-
ネストされているRSSのデー...
おすすめ情報