A 回答 (3件)
- 最新から表示
- 回答順に表示
No.3
- 回答日時:
1の回答はブラウザとPythonで取得する情報に差異があるという質問を元に回答しているため、
前提条件が勘違いである場合には、そこに書いてある処置を行ってトラブルシューティングを続けていくべきではありません。
念のため。
No.2
- 回答日時:
こんにちは。
http://docs.python.jp/2/howto/urllib2.html
上記URLの「ヘッダ」という項目を参照してください。
1.2.
アクセスしてきたブラウザの情報を参照しソースの出力を制御している可能性があります。
なので上記URLを参考にし適切なヘッダ情報を含めてhttpアクセスすることによりブラウザで表示したときと同じソースが取得できるようになると思います。
回答有難うございます。すみません、ブラウザのソースには存在すると書きましたが、実際は違いました。ブラウザには表示されていますが、「ソースを表示」で確認すると存在しませんでした。該当箇所をChromeで選択して「要素を検証」すると存在するため、勘違いしていました。正しくはブラウザ上→存在する ブラウザでソースを表示→存在しない Pythonでソースを取得→存在しない です。
その後色々にらめっこして、多分・・ブラウザがJavascriptで表示させているデータかと今は予想しています。なんとかJavascriptの実行結果を得る方法で模索してみたいと思います。
教えていただいたヘッダ情報は設定していなかったので、これからは設定した上で続けていこうと思います。
有難うございました。
No.1
- 回答日時:
まずは原因を特定することかと思います。
ans = urllib2.urlopen('url') みたいな感じで…
考えられる原因:
・urlopenで何らかのエラーが発生している
(1) urlの中にエンコードが必要な文字列が混ざっている(空白とか)
→ urllib.quote など適切な物を使ってあげる
(2) 失敗するurlではPythonと違う経路でデータ取得するようにブラウザ側で設定されている
→ Pythonを起動するシェルの環境変数 http_proxy 等の必要な物を設定する
etc.
回答有難うございます。すみません、ブラウザのソースには存在すると書きましたが、実際は違いました。ブラウザには表示されていますが、「ソースを表示」で確認すると存在しませんでした。該当箇所をChromeでドラッグ・選択して「要素を検証」すると存在するため、勘違いしていました。正しくはブラウザ上→存在する ブラウザでソースを表示→存在しない Pythonでソースを取得→存在しない です。
その後色々にらめっこして、多分・・ブラウザがJavascriptで表示させているデータかと今は予想しています。なんとかJavascriptの実行結果を得る方法で模索してみたいと思います。
教えていただいた環境変数は設定していなかったので、これからは設定した上で続けていこうと思います。
有難うございました。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- アプリ Edgeを操作するアプリについて 4 2023/05/11 22:48
- その他(プログラミング・Web制作) python 気象データの取得 2 2023/06/20 23:54
- Visual Basic(VBA) Selenium.ChromeDriverの使い方について 7 2022/09/22 06:43
- Excel(エクセル) VBA : スクレイピングできない 4 2023/05/12 22:26
- その他(プログラミング・Web制作) Windowsのマクロプログラムで、こんなことできますか? 3 2022/06/28 14:30
- HTML・CSS HTMLとCSS(ブラウザ関連)について質問です。 1 2023/03/07 08:07
- その他(プログラミング・Web制作) プログラミング Python 1 2022/09/28 05:02
- Visual Basic(VBA) Edge操作のアプリが例外発生に 1 2023/03/12 21:22
- その他(プログラミング・Web制作) 【GAS】Gmail本文をブラウザ表示された状態でPDFにしたいです 1 2022/12/12 09:54
- その他(プログラミング・Web制作) Pythonのライブラリ、randomについて 3 2022/09/20 14:30
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
「取得先」という表現について
-
DMMの動画を全件取得したのです...
-
自分の掲示板にアクセス解析を...
-
バッチファイルでPCのモデル名...
-
VB.NETでボリュームを取得・設...
-
VBS「開いているページ」のURL...
-
各クライアントマシンのログイ...
-
Yahoo! JAPAN IDを新規取得でき...
-
モジュールからルート名前空間...
-
INIファイル
-
ps3で久しぶりにCDの音楽情報取...
-
ミュージックのアートワークを...
-
【C#】FindWindowExの使い方を...
-
VBブラウザに表示されているテ...
-
curlで取得出来るデータの制限...
-
アメブロでテーマを指定したRSS...
-
VBAでPDFファイルの文書のプロ...
-
IEを使わないでhtmlテキストを...
-
PHP の cURL で、htmlを画像へ...
-
【PHP】APIやRSSが存在しないサ...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
「取得先」という表現について
-
IEを使わないでhtmlテキストを...
-
Yahoo! JAPAN IDを新規取得でき...
-
自動車教習所について 質問 普...
-
アクセスの度にIPアドレスを変...
-
format関数について
-
Excel VBA:特定の文字列以降(...
-
ローカルのコンピュータ名を取...
-
不正競争防止法に該当するので...
-
ps3で久しぶりにCDの音楽情報取...
-
【VBA】EXCELブックを開かずに...
-
PHP の cURL で、htmlを画像へ...
-
VBS「開いているページ」のURL...
-
VBAでPDFファイルの文書のプロ...
-
ミュージックのアートワークを...
-
EXCEL、マクロ-改ページ行番号...
-
各クライアントマシンのログイ...
-
VB or VBScriptでPCの製造番号...
-
IPアドレスとMACアドレスを取得...
-
【C#】FindWindowExの使い方を...
おすすめ情報