こんにちは JUNです。
サーブレットでJDBC経由で検索クエリを実行しているのですが、非常に処理が遅くて困っています。
そこでSQLの改善をしていますが、SQL plus上は早さが
UPしてもJDBC経由にすると逆に遅くなったりします。
何故でしょうか。また何か考えられる原因がありましたら
教えて下さい。
※クエリの見直しはほぼ限界に差し掛かっています。
環境:
AIX4.3
Oracle version 8.0.5.1
Webshphere Application Server 3.0.2.2
JDK 1.18
データ数最大30万件取得。1レコード200バイト。
A 回答 (4件)
- 最新から表示
- 回答順に表示
No.4
- 回答日時:
はっきりいって30万件もあるデータを Web で見よう、ということ自体
間違っています。
仕様を見直した方がいいです。
うちで作るときは、だいたい上限件数(例:200)を決めておいて、
まず件数だけを取得し、それが上限件数以上だったら
検索条件を追加してもらって件数を少なくしてもらうような作りです。
上限件数以下だったらダウンロードさせます。
(ダウンロードさせるときも、サイズが大きいようなら圧縮して
からダウンロードさせた方がいいでしょう。)
それと、JDKのバージョンですが、WebSphere 3.0.2.2をお使いの
ようなので、1.1.8から 1.2.x に上げることはできません。
上げると動かなくなります。
この回答への補足
コメントありがとうございます。
見るわけではなく、ダウンロードするだけなので最悪
今のパフォーマンスでも駄目ということはないと
考えています。
ダウンロード時間は今のところ気にしていません。
保存できればOKと考えています。
> 1.1.8から 1.2.x に上げることはできません。
情報ありがとうございます。
No.3
- 回答日時:
>30万件でダウンロード開始まで50秒
とのことですが、これはどうやって調べたのでしょう?
ブラウザでダウンロードダイアログが表示される時間だとすると、
ブラウザでダウンロード開始されるのは、
ダウンロード処理の部分がflushされてからかも知れません。
単純に1件目の処理が完了しただけでダウンロードが開始されるわけではないと思います。
ソース上の外側のrs.next()まで50秒かかるのだとしたら、もっとSQLの効率を上げるようにしたらよいと思います。(でも相当複雑なSQLなんでしょうね)
どのぐらいのパフォーマンスを要求されているのか分からないのですが、20秒でダウンロード開始されればOKのレベルなんでしょうか?
普通に考えたら、20秒でも相当遅い気がするんですが…。
そうなると、インデックスを作成するなどのDB側の設計を直すために、実行計画を取得して検討するなど、Javaとは関係のないところでチューニングが必要だと思います。
SQL*plusではもっと開始が早いということなので、
ブラウザで確認した時間ではないですか?
それならばもっと早い段階でブラウザへの出力をflushするようにすれば、ダウンロードの開始は早くなると思います。
ダウンロード処理は、どうやっていますか?
Servletで、レスポンスヘッダを出力して、
それから出力を開始するというような感じでしょうか?
だとしたら、レスポンスヘッダ出力後すぐにflushすれば、その後の検索処理がどれだけ時間がかかろうとも、すぐに保存のダイアログは表示されるはずです。
この回答への補足
>とのことですが、これはどうやって調べたのでしょう?
ブラウザの目視確認でのダウンロード開始時間と、
下記のような計測で確認しています。両者の差はほとんど
ないようです。
System.out.println("2" + setNowDate());
rs = stmt.executeQuery(); //...[1]
System.out.println("2" + setNowDate());
> ソース上の外側のrs.next()まで50秒かかるのだとした> ら、もっとSQLの効率を上げるようにしたらよいと思いま> す。(でも相当複雑なSQLなんでしょうね)
ご指摘のようにインデックスなどもありますが
SQL plusで試行錯誤して早くなったクエリをJavaに載せると逆に遅くなってしまうことがあり、どのようにチューニングすべきかわからないのです。SQL plusとJava上での
違いや注意点など何かありますでしょうか?
> Servletで、レスポンスヘッダを出力して、
> それから出力を開始するというような感じでしょうか?
そうです。
検索前にレスポンスヘッダ出力する案はありますね。
結果が0件のときはヘッダだけ出力されますが、
どうしようもなければやむなしかもしれません。
No.2
- 回答日時:
やはりどういったSQLを実行しているかわからないと、
アドバイスされにくいと思います。
検索だけを実行しているのか、また検索を実行しながら、なにかしているのかを教えてもらわないと、
「遅いです」だけでは解答しようがないです。
30万件を一度に取得するわけではないと思いますが、
JDBC経由での大量に取得する検索のときに、
フェッチサイズを増やすことで格段にパフォーマンスが
あがった経験があります。
#1件だけ取得するような処理だと効果はないと思います。
一度に取得する件数が膨大な事がわかっている場合には、
フェッチサイズを増やしてみて試してみてはどうでしょうか?
JDBC2.0では標準で、Statement#setFetchSizeが使えますし、OracleでしたらOracle依存になってしまいますが、
Oracle プリフェッチ値の設定というのがありました。
詳しくはOTNのホームページからJDBC 開発者ガイドをダウンロードして見ると詳しく書いてあります。
参考URL:http://otn.oracle.co.jp/document/products/oracle …
この回答への補足
sasadoraさん、amajunさん、コメントありがとうございます。また情報不足ですみません。
補足します。
AIX4.3
Oracle version 8.0.5.1
Webshphere Application Server 3.0.2.2
JDK 1.18 です。
他のアプリケーションはなし
> 検索だけを実行しているのか、
検索し、検索結果をブラウザからダウンロード
しています。一度に取得するのは数件から三十万件くらい
あるのです。1.18なので今試すことはできないのですが
[質問]1.20に変えて試すことは簡単にできるものなのでしょうか。(別の質問になってすみません)
このクラスのソースは八百行程ありますがここに載せられるでしょうか。概略書きます。
PreparedStatementを使用して。。。
executeQuery...[1]
while ( rs.next() )
{
executeQuery...[2]
while ( rs.next() )
{
クライアントへのデータのダウンロード処理
}
}
一度に全ての集計をおこなうのではなく、ネストして
executeQueryしています。これはダウンロードをできる
だけ早く開始したいためです。
30万件でダウンロード開始まで50秒、ダウンロード
完了まで1時間位です。開始までをもっと早くしたい
と考えています。
トレースして調べたところexecuteQuery...[1]がネックになっていました。
SQL plusでexecuteQuery...[1]と同じクエリを実行したときには20秒くらいで結果がでてきたのでもっと早くでるはずでは?と思いました。
と書きながら回答は難しいなあと思っています。
もちろんJAVAだけでなく仕様、ハード構成まで視野にいれて検討していますが、ここではJAVAについてコメントいただければと思います。
わかりにくくて申し訳ありませんが、何かアドバイスいただければ大変助かります。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
このQ&Aを見た人はこんなQ&Aも見ています
-
海外旅行から帰ってきたら、まず何を食べる?
帰国して1番食べたくなるもの、食べたくなるだろうなと思うもの、皆さんはありますか?
-
フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
あなたが普段思っている「これまだ誰も言ってなかったけど共感されるだろうな」というあるあるを教えてください
-
映画のエンドロール観る派?観ない派?
映画が終わった後、すぐに席を立って帰る方もちらほら見かけます。皆さんはエンドロールの最後まで観ていきますか?
-
海外旅行から帰ってきたら、まず何を食べる?
帰国して1番食べたくなるもの、食べたくなるだろうなと思うもの、皆さんはありますか?
-
天使と悪魔選手権
悪魔がこんなささやきをしていたら、天使のあなたはなんと言って止めますか?
-
ROWNUMについて
Oracle
-
dbからデータをとりだす際、sqlのfetch結果をjavaでとりだす
Java
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・人生のプチ美学を教えてください!!
- ・10秒目をつむったら…
- ・あなたの習慣について教えてください!!
- ・牛、豚、鶏、どれか一つ食べられなくなるとしたら?
- ・【大喜利】【投稿~9/18】 おとぎ話『桃太郎』の知られざるエピソード
- ・街中で見かけて「グッときた人」の思い出
- ・「一気に最後まで読んだ」本、教えて下さい!
- ・幼稚園時代「何組」でしたか?
- ・激凹みから立ち直る方法
- ・1つだけ過去を変えられるとしたら?
- ・【あるあるbot連動企画】あるあるbotに投稿したけど採用されなかったあるある募集
- ・【あるあるbot連動企画】フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
- ・映画のエンドロール観る派?観ない派?
- ・海外旅行から帰ってきたら、まず何を食べる?
- ・誕生日にもらった意外なもの
- ・天使と悪魔選手権
- ・ちょっと先の未来クイズ第2問
- ・【大喜利】【投稿~9/7】 ロボットの住む世界で流行ってる罰ゲームとは?
- ・推しミネラルウォーターはありますか?
- ・都道府県穴埋めゲーム
- ・この人頭いいなと思ったエピソード
- ・準・究極の選択
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
「ご処理進めて頂きますようお...
-
エクセルで、日付を入力すると...
-
VBAでループ内で使う変数名を可...
-
switch の範囲指定
-
月度は何て読みますか?
-
リョウ・・・量?料?
-
UMLでの例外処理
-
メルカリのメルカードで買い物...
-
インタラクティブの反対語は?
-
DoEventsがやはり分からない
-
findは動くがfindnextがマクロ...
-
EXCEL VBA マクロ 実行する度に...
-
【Excel】特定の文字を含むセル...
-
VBの質問#if 0 then ってどう...
-
VBAでセルに値が入力されるまで...
-
iD
-
VB.NET Excelを読み込んでDataT...
-
UWSC
-
FFTの結果ついて
-
Access チェックボックスでチェ...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
「ご処理進めて頂きますようお...
-
EXCEL VBA マクロ 実行する度に...
-
エクセルで、日付を入力すると...
-
VBAでループ内で使う変数名を可...
-
メルカリのメルカードで買い物...
-
DoEventsがやはり分からない
-
【Excel】特定の文字を含むセル...
-
findは動くがfindnextがマクロ...
-
switch の範囲指定
-
月度は何て読みますか?
-
インタラクティブの反対語は?
-
VBの質問#if 0 then ってどう...
-
UMLでの例外処理
-
お家デートをしててハグを長い...
-
Do~Loopした回数をカウントしたい
-
リョウ・・・量?料?
-
FFTの結果ついて
-
iD
-
VBAでセルに値が入力されるまで...
-
VB.NET Excelを読み込んでDataT...
おすすめ情報