仕事でWEBから情報を取得する必要があり、
HTMLを調べておりますがどうしてもわからないことがあり困っております。
例えば下のURLのページはスクロールをするとどんどん商品が検索され
増えていっています。
https://www.lyst.com/shop/coats/
ですが、HTMLを表示しても全ての商品がHTML上にありません。
スクロールして出てきた分はどのように取得できるのでしょうか?
分からないことだらけで質問の仕方も合っているかわかりません。
「ここを調べてみなさい」など方向性だけでも教えていただけると助かります。
宜しくお願い致します。
No.3ベストアンサー
- 回答日時:
No.2です。
> すみません。こちらのサイトは無限スクロールではないのですが2ページ目以降のHTMLが取得できません。
> https://www.missguided.co.uk/dresses#dir=desc&or …
> これも同じ技術でしょうか?
指定条件に合った商品の一覧を1画面目、1画面目で「次ページ」とか「もっと」とかのボタンクリックすると2画面目・・・と表示するのはもっと簡単な方法で出来ます。
一番簡単なのはサーバ側のプログラムで以下のような処理を行うことです。
(1) 1画面目のHTMLの送出処理
1)Webブラウザからの指定条件を受け取り、条件に合った商品を検索し、商品番号順等に並べた結果をデータベースから抽出する。
2)上記の結果のうち先頭から予め決められた(あるいは1)でWebブラウザから受け取った1画面の表示件数にしたがった)件数分の商品情報を掲載した画面のHTMLを送出する。
3)送出する画面(またはHTTP Cookie)に1画面の表示件数、1画面目であること(または画面の一番下にある商品の商品番号など)や、場合によっては1)で受け取った指定条件を仕込む。
(2) 2画面目以降のHTMLの送出処理
1)Webブラウザから現時点でWebブラウザに表示されている画面に(1)-3)で仕込んだ情報を受け取る。
2)受け取った情報にしたがって次に表示すべき表新情報をデータベースから抽出する。
以降の処理は基本的に(1)-2以降と同じ。
で。(1)-1)での指定条件に合った全商品の情報を得ましたが、jQueryなどを用いて動的に画面に商品を足し込んだり2画面目といった画面遷移をさせる際に再度同じ検索を行うのか、(1)-1)での結果をサーバ側に何らかの保存して置き、同じ利用者から「次」とか「もっと」という要求を受けた際には再度データベースを検索せずに保存している情報を用いるのかとかいったとことも処理のポイントです。
そこは全体の処理速度を重視するんだとか、商品の更新頻繁なんだとか、そういった各種の「都合」も加味して決めねばならないところです。
といったようなことも実システムとするにはあるわけですが。。。
まず「こんな表示機能のWebサイトにしたい」という表示機能をまとめ、それはどんな処理の流れで実現出来るかを考える技術的裏付けに基づいた力(思考力あるいは設計力)が必要です。
HTMLは単にWebブラウザ上に表示する1枚の画面デザインを記述する言語でしかなく、実際の動き、、、この場合「一覧画面の一番下まで来たら自動的に続きを足し加えるとか、次のページや前のページに移動するボタンがあり利用者がそれらをクリックしたら画面が遷移するとか」はWebブラウザに表示された画面(HTML)に組み込まれたスクリプトやサーバ側に置かれたプログラムの処理です。これらはHTMLではなく様々なプログラム言語で記述されるものです。
ですので動的にデータを表示するWebサイトを作るにはHTMLに加えWebアプリケーションの開発言語を知らねばならないでしょうし、その前にまずHTTP通信とはどんなものか、利用者を識別するなご動きを制御するための情報をWebブラウザ側に伝え、それを受け取るためにはどんな機能(仕組み)があるのかといった基本的なことを学ぶことが必要でしょう。
参考まで。
No.2
- 回答日時:
スクロールダウンして画面下端へ行った際のイベントを取得し、そのイベント取得をきっかけに起動されたスクリプト内でhttp通信を行い新たな情報(HTML文)を取得しているものです。
Googleマップなどの地図サイトで、画面を上下左右に移動させるとその分の地図が表示されるとの基本的には同じ仕組みです。
とりあえず以下のような所で「jQuery」を学んでみるとよいと思います。
http://www.html5-memo.com/jquery-tips/jquery13/
書籍もあります。
以下に紹介されているものなどが結構よいように思います。
http://kensawai.com/blog/jquery-%E3%81%8A%E3%81% …
参考まで。
ご回答ありがとうございます。
jQueryというライブラリを使っているのですね。
GoogleマップやTwitterで使われている技術とのことで
身近だったのに知りませんでした。
非常に勉強になりました。
jQueryを学んでみます。
すみません。こちらのサイトは無限スクロールではないのですが2ページ目以降のHTMLが取得できません。
https://www.missguided.co.uk/dresses#dir=desc&or …
これも同じ技術でしょうか?
宜しくお願い致します。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- HTML・CSS 別サイトのHTML内にある情報を自動取得して、自分のサイトに組込む方法を教えてください。 例えば、Y 1 2023/06/15 08:09
- Excel(エクセル) エクセルデータからの必要項目抽出方法を教えてください 6 2022/08/12 15:55
- メルカリ <メルカリShops>消費者庁による販売許可の出ている機能性表示食品?の調べ方から 1 2022/11/24 17:46
- その他(買い物・ショッピング) JANコードの登録について 1 2022/07/23 14:19
- ヤフオク! 落札者の削除について 4 2023/05/22 14:37
- メルカリ メルカリで古着販売、古物商許可証必要でしょうか。 3 2023/02/20 10:42
- コンサルティング・アドバイザー UL など海外規格をまとめる方法について 3 2023/08/16 10:29
- Google Drive Google form を利用して 問い合わせフォームを作りたい 1 2022/04/25 14:15
- ヤフオク! ヤフオク。入札価格が安すぎるから、ということで出品者都合でキャンセルするのはアリなのか? 5 2022/10/14 16:40
- Visual Basic(VBA) Selenium.ChromeDriverの使い方について 7 2022/09/22 06:43
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
C言語で今まで表示していた画面...
-
三菱GOTの画面切り替えについて
-
system("cls")について
-
ブラウザアドレスバーからのURL...
-
画面を隠す・消す方法を教えて...
-
FormのsubmitでFormの内容がnull
-
プログラミングで例えばゲーム...
-
Java-jspの画面入力値保持について
-
サブミット後、自動的に画面を...
-
ServletからServletへの値渡し
-
[戻る]やhistory.backでの遷移...
-
登録後、呼び出し元ページに戻...
-
戻るボタン
-
検索画面→結果画面→検索画面と...
-
C# ログイン画面からメイン画面...
-
アドレスバーに引数を表示させ...
-
CPUの使用率が高くなる事象につ...
-
Strutsで画面遷移させない。
-
ブラウザ画面で、変更した値が...
-
strutsのactionタグinput
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
三菱GOTの画面切り替えについて
-
画面遷移を行わずに同一ページ...
-
プログラミングで例えばゲーム...
-
フロントエンドフレームワーク...
-
Java-jspの画面入力値保持について
-
遷移元を判定したい!
-
ASP.NET 画面遷移前の状態を保...
-
Googleキーワードについて キー...
-
Javaプログラミングの質問にな...
-
C言語で今まで表示していた画面...
-
ボタンを押したあとに画像を表...
-
セッション切れでのリクエスト...
-
C# ログイン画面からメイン画面...
-
JavaScriptでページが更新され...
-
ServletからServletへの値渡し
-
ZOOMでオンラインミーティング
-
登録後、呼び出し元ページに戻...
-
サブミット後、自動的に画面を...
-
アドレスバーに引数を表示させ...
-
Beautiful Soupのインストール...
おすすめ情報