http://www.aucfan.com/search
上記のようなサイトで、自動的にweb上のデーターを集めてくる仕組みとはいったいどういうものなのでしょうか? 使われている技術、考え方や、必要なソフトや機材、それを実行するための手間(何人ぐらいで、どのくらいの期間がかかるのか?)といったことを、わかる方がいましたら、教えてください。
また、web上のデーターを自動的に収集して、データーベースを作るような技術というのは、一般にどう呼ばれていてるのでしょうか?(呼び名みたいなもの)
ついでに、
http://www.amazon.co.jp/
上記のような、大規模な商用サイトが、どういう技術や仕組みによって、できているのか?また、どういう職種のスタッフによって作られているのか?というのを、わかる方がおられましたら、できるだけ、具体的にわかりやすく教えてください。
A 回答 (2件)
- 最新から表示
- 回答順に表示
No.2
- 回答日時:
質問の意図をつかみきれないので、
的確なレスになっていないかもしれませんが、
上記サイト同様のものを低コストで作りたい
それにはどのようにすればいいか
・・ということでよろしいでしょうか?
端的に申し上げて、
作る技術があるかどうかが一番重要です。
このレベルのもので、実用に足るものを作るのはかなり大変ですので。
(ただし、発注すれば数十万~数百万がかかるでしょう)
もしそれなりの技術をもったスタッフがいるのであれば、
作成することもできなくは無いと思いますが、
数人のスタッフで一ヶ月程度はかかると思います。
(スタッフの技術次第で変わるのは言うまでもありません)
プログラム部分と表示部分(HTML)でスタッフが別れる場合が多いですね。
今回の場合はプログラムが主ですので、他は考えていないかもしれませんが。
技術的には、ロボットに近いと言えるんじゃないでしょうか。
(この言葉も定義が結構広いですが)
小中規模であればPerlでプログラム組むのが一番手軽ではあると思います。
大規模以上なら、JAVAなりASPなり他のものを考えた方が無難でしょう・・
(自分の手元のサーバにデータがある場合はまた別の技術も色々ありますが)
No.1
- 回答日時:
自サーバ内のデータ検索と、internet上の他サーバのデータ検索とでは技術が変わってくるでしょう。
自サーバなど、単一システム内でのデータ交換ではあらゆる手段が利用できますが、ネットを介してのデータ交換ではサーバ側で提供しているサービスでしかデータ交換できません。
言い換えるなら、データ交換には送り手と受け手とで同じ手段で会話する必要があり、両方の管理権限があるような単一システム内などでは最適な手段が選べますが、送り手のサーバで提供する手段が選択できないような場合は、提供しているサービスを使うしか方法がありません。
質問内のwww.aucfan.comやwww.amazon.co.jpで行われている検索などは自サイト内での検索のようですが(そう見受けますが)この場合、システムの組み方次第でいろんな方法があり、表面的に見ただけでは裏側でどのような技術が採用されているかは分かりません。
また、サーチエンジンなどではhttpなどのプロトコルで、通常ブラウザからアクセスするのと同様の通信方法でデータを取得し、取得したデータから次なるアドレスを拾いまたアクセスするということを繰り返してデータを蓄積します。一般にロボットと呼ばれる技術です。ネットサーフィンを自動的にする仕組みといえば分かりやすいでしょうか。
この回答への補足
ちょっと質問の意図が伝わりにくかったみたいですので、補足いたします。
http://www.aucfan.com/search
こっちのほうは、ヤフーオークションとかの、オークションサイトから、出品物、価格のデーターや、出品ページのアドレスなどを自動的に収集して、データーベースにして、表示しているサイトです。主なものだけでも、いくつかやり方があるのはわかりますが、もし、皆さんが同じような機能を持ったサイトを、できるだけ低コストで作るとするなら、どういうやり方で、作りますか?という質問と同じ意味だと思ってもらってかまいません。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- その他(プログラミング・Web制作) Windowsのマクロプログラムで、こんなことできますか? 3 2022/06/28 14:30
- HTML・CSS WEBサイトの構築。表示データとWEBデザインを分離する考え方を専門用語・業界用語では何と言うか? 8 2022/09/27 09:16
- Web・クリエイティブ 独学でwebデザイナーを目指すには 2 2022/09/17 16:27
- ASP・SaaS イントラネットを構築したい 2 2022/04/24 11:08
- Web・クリエイティブ 創作活動について質問です。 ・自分が過去に虐められたり人間関係で悩んで部活やクラスで孤立した経験等を 2 2022/10/10 22:14
- 政治 自衛隊の任期制自衛官(自衛官候補生)という制度は廃止すべきではないでしょうか? 自衛隊に任期制がある 3 2022/11/13 22:26
- IT・エンジニアリング SEとWebエンジニアの業務内容の違いについて 3 2023/06/22 23:23
- 企画・マーケティング ブランディングも大事だけど運用方法を考えるのも大事ですよね? 2 2022/08/07 21:49
- インターネットビジネス webライターになる為に、記事作成の勉強の他にSEO対策の勉強は要りますか webライターになる為に 2 2022/12/12 01:27
- HTML・CSS リンクバナーのHTMLタグ。画像を変えたり、設置位置を変えるとバナー貼付け側はどう見える? 2 2023/02/01 12:01
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
アイドルの写真について
-
「未使用」と「不使用」ってど...
-
ネットカフェから、メールでき...
-
ファイザーやモデルナは当時は...
-
Excelの“並び替え”で文字コード...
-
3Dプリンターを使う場合 パソコ...
-
スマホアプリのトラッキング 個...
-
エクセルのグラフのデータ系列...
-
PCの内蔵メモリにデータは残る?
-
ワードの差し込み印刷のデータ...
-
Excel Webクエリ
-
独身男性は既婚男性よりも不健...
-
高速フーリエ変換でデータ数が...
-
職務質問で聞かれたデータはど...
-
相関行列作成時の数字以外のデ...
-
データ用HDDの別のPCへの乗せ替え
-
差し込み印刷がうまくできません
-
排他的論理和の問題
-
カノニカル通信と非カノニカル...
-
SSDのフオーマットについて
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
「未使用」と「不使用」ってど...
-
PCの内蔵メモリにデータは残る?
-
日本通信の当月利用データ量は...
-
高速フーリエ変換でデータ数が...
-
3Dプリンターを使う場合 パソコ...
-
ネットカフェから、メールでき...
-
Excel Webクエリ
-
パレート図等で「N=100」とあ...
-
データeSIMのこと
-
XMLデータってなんですか?
-
Excelの“並び替え”で文字コード...
-
エクセルのグラフのデータ系列...
-
職務質問で聞かれたデータはど...
-
プロ野球の球団別の残塁数を載...
-
データ用HDDの別のPCへの乗せ替え
-
データのレプリカってなんですか?
-
2年ほど放置したあつ森を再開す...
-
差し込み印刷がうまくできません
-
エクセルで縦に並んだデータを...
-
ワードの差し込み印刷のデータ...
おすすめ情報