EXCELのデータをSQLサーバにインポートさせているのですが、
インポートの重複有無を判断するために3つのキーを
使用しています。
現状の方法としては、
Dim rsRecord As ADODB.Recordset
Set rsRecord = New ADODB.Recordset
rsRecord.Open XXXX 'レコードを開く
rsRecord.Filter = "(A='あ') And (B='い') And (C='う')"
のような形でrsRecordが1以上かどうかで重複を確認しています。
(Filterのキーとなる”あ、い、う”はEXCELから取得するデータです。)
上記で重複はチェックが出来るのですが、DBの都合上、1レコード辺り
16回繰り返す必要がある為、1レコードの処理に2秒程度かかっています。
EXCELのデータ数が多いため、1回のインポート処理に30分以上掛かってしまっており、困っています。
重複チェックを高速にする良い方法はないでしょうか。
データベース初心者のため、色々方法を探した結果、上のような
処理以外見当たらず困っています。よろしくお願いします。
No.1ベストアンサー
- 回答日時:
IF Nnot DBLookup(列名,テーブル名, 条件, False) Then
インポート手続き
End If
次のDBLookup関数は、pubCNNSTRINGをSQL Sereverのそれにすれば動作します。
フィルターをかけるよりは速いとは思います。
ただ、接続と切断を繰り返すのが難点。
ただ、AccessのDLookup関数とくらべたら150倍速で動作するのは間違いありません。
ですから<1レコードの処理に2秒>という遅さではないのは確実だと思います。
Public Const pubCNNSTRING="XXXXXXXXXX"
Public Function DBLookup(ByVal strField As String, _
ByVal strTable As String, _
Optional ByVal strWhere As String = "", _
Optional ByVal ReturnValue = Null) As Variant
On Error GoTo Err_DBLookup
Dim DataValue
Dim strQuerySQL As String
Dim rst As ADODB.Recordset
Set rst = New ADODB.Recordset
strQuerySQL = "SELECT " & strField & " FROM " & strTable
If Len(strWhere) > 0 Then
strQuerySQL = strQuerySQL & " WHERE " & strWhere
End If
With rst
.Open strQuerySQL, _
pubCNNSTRING, _
adOpenStatic, _
adLockReadOnly
If Not .BOF Then
.MoveFirst
DataValue = .Fields(0)
End If
End With
Exit_DBLookup:
On Error Resume Next
rst.Close
Set rst = Nothing
DBLookup = IIf(Len(DataValue & "") = 0, ReturnValue, DataValue)
Exit Function
Err_DBLookup:
MsgBox "SELECT 文の実行時にエラーが発生しました。(DBLookup)" & Chr$(13) & Chr$(13) & _
"・Err.Description=" & Err.Description & Chr$(13) & _
"・SQL Text=" & strQuerySQL, _
vbExclamation, " 関数エラーメッセージ"
Resume Exit_DBLookup
End Function
※SQL文を直接渡せば、もうチビットは高速化します。
※DBCount()を使う手もありますが、どっちが速いか不明。
※「一時的にWHERE節に関連する列にインデックス」は試す価値がとも。
http://www.accessclub.jp/ado/18.html
SEEKメソッドはDAOでしか使ったことがありません。
しかし、DBLookup()のSEEK版なら、もっと速いかもです。
この回答への補足
早々なご回答ありがとうございました。
説明が不足していたのですが、インポートするEXCELの1列の情報の中で、16個のDBのレコードが出来る為、DBLookUpでそういった処理は出来ますでしょうか。
イメージとしてはこんな感じの事をしています。
[EXCEL]
Index,Title,Ver1,Ver2,…,Ver16
[DB]
Index,Title,Ver
DBのVerが、Excelの一列にあるVer1~16のデータが別レコードとして、存在しており、この3つでEXCELデータがDB内に存在するのかを確認しています。
この場合DBLookUpへの入力は、WHERE句に、Index,Title,Verの比較条件をいれ、Verの条件を1~16で指定することになるのでしょうか。
DB初心者で申し訳ありませんが、よろしくお願いします。
No.2
- 回答日時:
件数次第ですが、1000~2000件までならば、Excelのデータを読み込んで、
"SELECT tmp.* FROM
(SELECT '値' A,'値' B, '値' C
UNION ALL
SELECT '値','値', '値'
UNION ALL ...) tmp
INNER JOIN (SQL Serverのテーブル) t ON t.A=tmp.A AND t.B=tmp.B AND t.C=tmp.C"
という文字列を組み上げて実行するという手もあります。
これだと1クエリで全件チェックされ、返って来たものが重複しています。
(長い文字列なので、Mid$などを使って組み上げます)
組み上げた中のtmpに当たる部分は、頭に"INSERT INTO (SQL Serverのテーブル)"
と付ければ、INSERTも1クエリでできます。
数千件以上あるなら、一旦ExcelのデータをSQL Server側のワークテーブルに入れた方がいいと思います。
入れてしまえば、重複チェック/チェック後のINSERTは1クエリでできます。
回答ありがとうございます。
ただ、SQLに関して、知識が浅いため、一つ一つのキーワードは
わかっても今ひとつ理解できず、回答を活かせませんでした。。。
もう少し、SQLを勉強します。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- Visual Basic(VBA) access count数を変数に格納 2 2022/03/30 19:21
- その他(データベース) 業務用のデータベースサーバーの選び方について 4 2022/11/22 10:22
- Visual Basic(VBA) ExcelからAccessのテーブルに書き込む時に時間がかかる 1 2022/10/14 20:38
- Excel(エクセル) 重複しているか否かをソートせずに判断する方法ありますか? 2 2022/07/06 21:16
- Visual Basic(VBA) vbaを早くしたい 5 2022/09/09 10:58
- Visual Basic(VBA) マクロVBA 1シートをまとめる 閉じ方 初心者 SOS! 1 2022/06/17 14:54
- Excel(エクセル) Excel同士のデータの突合 3 2023/08/07 16:34
- Excel(エクセル) PowerQueryに詳しい方教えてください(Office365) 1 2022/07/24 21:11
- Visual Basic(VBA) VBA 重複チェック後に値をワークシートに転記する方法を教えてください。 1 2023/03/19 12:43
- Excel(エクセル) VBAで組み合わせ算出やCOUNTIFSの処理を高速化したいです。 4 2022/04/07 02:38
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
Accessにインポートしたら並び...
-
データの二重表示の原因
-
2つの項目が重複するレコード...
-
Accessで重複したデータを一件...
-
ACCESSファイルを開こうとする...
-
数百万件レコードのdelete
-
Accessでのレコードの削除時の...
-
ManagementStudioからのデータ削除
-
ACCESSのBookmarkプロパティの...
-
SQLServerで同一条件レコードの...
-
Accessでの禁止文字チェック
-
Access VBA Me.Requery レコー...
-
Access 1レコードずつcsvで出力...
-
ACCESSにて全項目(レポート)...
-
Accessの重複クエリで最小以外...
-
テーブルの差分を抽出したいの...
-
SQLの重複検索の高速化について
-
ACCESSデーターベースの差分バ...
-
Access カレントレコードがあり...
-
レコードの削除とrow number
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
Accessにインポートしたら並び...
-
データの二重表示の原因
-
2つの項目が重複するレコード...
-
3つ以上のテーブルをUNIONする...
-
数百万件レコードのdelete
-
Access VBA Me.Requery レコー...
-
非連結サブフォームのレコード...
-
Access 削除クエリが重い
-
ACCESSのBookmarkプロパティの...
-
Access 1レコードずつcsvで出力...
-
ManagementStudioからのデータ削除
-
Accessの重複クエリで最小以外...
-
Accessでの排他制御
-
Accessで重複したデータを一件...
-
(ACCESS)並び替えをしないで...
-
Accessでの禁止文字チェック
-
Accessでレコードが更新された...
-
フォームからのレコード削除に...
-
SQLServerで同一条件レコードの...
-
テーブルのレコード削除ができ...
おすすめ情報