![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?e8efa67)
社員IDが1から10まであって、その他のフィールドは名前、住所、電話番号など書いてあるとします。10人分のデータの中から名前が近藤さんを探しなさいといった時、すぐに検索結果は返ってくると思います。
仮に社員が100万人いて検索結果を得ようとしたらかなりの時間がかかると思います。数10人なら自力でデータを用意できるのですが、100万とかいう数になると自力では無理があります。そこでデータベース側でランダムにデータをつくるということは可能なんでしょうか?もしくはプログラムの方でなんらかの制御をしてデータを100万件データベースにいれていくというような処理しかないんでしょうか?
やりたいことは検索時間が10件と100万件だとどのくらい違うだろうということをやりたいと思っております。よろしくお願いします!!
No.4ベストアンサー
- 回答日時:
たとえばこんなやり方・・・
CREATE TABLE `a` (`id` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,`data` VARCHAR( 20 ) NOT NULL);
CREATE TABLE `b` (`id` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,`data` VARCHAR( 20 ) NOT NULL);
idとdataというフィールドをもった二つのテーブルを作ります。
INSERT INTO `a` SET `id`=NULL;
データを一つ作ります。
INSERT INTO `b` SELECT NULL,'' FROM `a`;
INSERT INTO `a` SELECT NULL,'' FROM `b`;
という2行のSQLを処理を20回繰り返します。
これで100万件のデータができます。
(テーブルbはもういらないので消してよいです)
さらに
UPDATE `a` SET `data`=MD5(RAND());
とすればdataにランダムな文字列がセットされます
No.3
- 回答日時:
わたしは、約15万人のデータベース(26項目)を自作してします。
エクセル約50MBを4シート×4文書に分けているので、100万
人なら約330MB、25文書あれば収容できます。
>検索時間が10件と100万件だとどのくらい違う<
検索のための準備作業は変らず、読込み時間が違うだけです。
USBにまとめて一括検索すれば、数分で抽出できるでしょう。
さらに、あらかじめソートされていれば、全データ必要ありません。
エクセルよりアクセスの方が大量処理できるのですが、部分的な抽出
については、むしろエクセルのほうが扱いやすいのではないでしょうか。
No.2
- 回答日時:
#1です。
誤字がありました。
「ユーザ側で利用した」
↓
「ユーザ側で用意した」
ついでに、B-TREEインデクスについて、簡単に触れておきます。RDBMSにより、多少の違いがありますが、考え方は似たようなものです。
主なRDBMSでは、行やインデクスの情報を、ページといった単位で管理しています。ページはI/Oの最小単位なので、ブロックと考えていいでしょう。
この1ページで、何件のインデクスキー値を管理できるかは、
管理可能なキー数=(ページ長-ページの制御情報)/(キー長+行の格納アドレス)
といった計算式になります。
ページ長=4096バイト、ページ内の制御情報=96バイト、キー長=10バイト、行の格納アドレス=6バイトとすると、250個のキー値が管理可能です。
インデクスの分割を配慮して、125個のキー/ページとすると、
100万件を管理する最下位ページ数は、1000000/125=8000ページ。
2段目は、8000/125=16ページ、
最上位が1ページ
で、インデクスは3段になります。
100万件の中から=条件で1件の検索なら、データ部のI/Oが1回、インデクスのI/Oが3回になります。
No.1
- 回答日時:
RDBMSは、何でしょうか?
ユーザ側で利用した多量データを格納する場合、RDBMS側で用意しているローダ(通常のINSERTの処理でなく、ログを吐き出さなかったり、インデクス更新を後で一括で行ったりすることで、性能向上させている)を使う場合が多いです。
テスト用に100万件程度のデータを作るなら、何らかのプログラミング言語でツールを作ってもいいし、ストアドプロシジャを実装しているRDBMSなら、ストアドプロシジャで容易に作れます。
>検索時間が10件と100万件だとどのくらい違うだろうということをやりたい
数万件といった母体データから数件を検索するなら、一般的にインデクスを付けます。B-TREE構造が一般的に知られており、母体件数に対して、対数の関係になるので、データ量が増えても、極端に性能劣化することはありません。
http://biz.rivus.jp/words/btree_index.html
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・ゆるやかでぃべーと タイムマシンを破壊すべきか。
- ・「I love you」 をかっこよく翻訳してみてください
- ・歩いた自慢大会
- ・許せない心理テスト
- ・字面がカッコいい英単語
- ・昔のあなたへのアドバイス
- ・かっこよく答えてください!!
- ・あなたが好きな本屋さんを教えてください
- ・スタッフと宿泊客が全員斜め上を行くホテルのレビュー
- ・【大喜利】【投稿~8/27】 こんなガソリンスタンド二度と来るか!なぜそう思った?
- ・これ何て呼びますか Part2
- ・人生で一番思い出に残ってる靴
- ・【お題】動物のキャッチフレーズ
- ・【お題】甲子園での思い出の残し方
- ・ゆるやかでぃべーと すべての高校生はアルバイトをするべきだ。
- ・「それ、メッセージ花火でわざわざ伝えること?」
- ・自分用のお土産
- ・人生で一番お金がなかったとき
- ・一番好きなみそ汁の具材は?
- ・泣きながら食べたご飯の思い出
- ・ちょっと先の未来クイズ第1問
- ・ゴリラ向け動画サイト「ウホウホ動画」にありがちなこと
- ・初めて自分の家と他人の家が違う、と意識した時
- ・単二電池
- ・チョコミントアイス
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
ACCESSのデータをWebブラウザで...
-
MS-Accessのエクスポートで異常...
-
AccessのLANでの共有
-
1回目の実行に3分、2回目の実行...
-
ACCESS2010 Excelエクスポート ...
-
SQLServerのDBのうちテーブルを...
-
会社の諸事情により全システム...
-
警察はスマホに保存した動画や...
-
エクセルのフィルタ抽出が固まる
-
復元に異常に時間がかかる
-
【DB】同じトランザクション内...
-
期限切れのバックアップの削除
-
postgresql についてです
-
ADO Connection を再利用する方法
-
PCが悪くなって新しいPCにSSMS...
-
SQL*Loaderのコミットポイント...
-
DATファイルをEXCELで開きたい
-
mdfファイルの残骸について
-
SQL-Server2000でトランザクシ...
-
SQLSERVERのデータファイル圧縮...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
MS-Accessのエクスポートで異常...
-
ACCESSのデータをWebブラウザで...
-
1回目の実行に3分、2回目の実行...
-
ACCESS2010 Excelエクスポート ...
-
Sqliteで使えない文字。
-
会社の諸事情により全システム...
-
SQL文で、重複データの上書きは...
-
accessの上限容量2Gでは容量が...
-
ACOSのRDBについて教え...
-
SQL ServerにExcelをリンクさせ...
-
SQLServerのDBのうちテーブルを...
-
データファイルに書き込まれる...
-
ACCESSのクエリからORACLEのDB...
-
業務用のデータベースサーバー...
-
SSMSEを使ったクエリ結果をエク...
-
SQLite3にて重みづけを行った抽...
-
ツリー情報のデータをSQLで取得...
-
データベース側で100万とか1000...
-
PL/SQLで複数のFor文を解除したい
-
oracleデータベースの更新履歴
おすすめ情報