SQLの重複検索の高速化について - SQL Server - 教えて！goo

件数次第ですが、1000～2000件までならば、Excelのデータを読み込んで、
"SELECT tmp.* FROM
　 (SELECT '値' A,'値' B, '値' C
UNION ALL
SELECT '値','値', '値'
UNION ALL ...) tmp
INNER JOIN (SQL Serverのテーブル) t ON t.A=tmp.A AND t.B=tmp.B AND t.C=tmp.C"
という文字列を組み上げて実行するという手もあります。
これだと１クエリで全件チェックされ、返って来たものが重複しています。
（長い文字列なので、Mid$などを使って組み上げます）

組み上げた中のtmpに当たる部分は、頭に"INSERT INTO (SQL Serverのテーブル)"
と付ければ、INSERTも１クエリでできます。

数千件以上あるなら、一旦ExcelのデータをSQL Server側のワークテーブルに入れた方がいいと思います。
入れてしまえば、重複チェック/チェック後のINSERTは１クエリでできます。

通報する

IF Nnot DBLookup(列名,テーブル名, 条件, False) Then
　　インポート手続き
End If

次のDBLookup関数は、pubCNNSTRINGをSQL Sereverのそれにすれば動作します。
フィルターをかけるよりは速いとは思います。
ただ、接続と切断を繰り返すのが難点。
ただ、AccessのDLookup関数とくらべたら１５０倍速で動作するのは間違いありません。
ですから＜1レコードの処理に2秒＞という遅さではないのは確実だと思います。

Public　Const pubCNNSTRING="XXXXXXXXXX"

Public Function DBLookup(ByVal strField As String, _
　　　　　　　　　　　　 ByVal strTable As String, _
　　　　　　　　　　　　 Optional ByVal strWhere As String = "", _
　　　　　　　　　　　　 Optional ByVal ReturnValue = Null) As Variant
On Error GoTo Err_DBLookup
　　 Dim DataValue
　　 Dim strQuerySQL As String
　　 Dim rst　　　　 As ADODB.Recordset

　　 Set rst = New ADODB.Recordset
　　 strQuerySQL = "SELECT " & strField & " FROM " & strTable
　　 If Len(strWhere) > 0 Then
　　　　 strQuerySQL = strQuerySQL & " WHERE " & strWhere
　　 End If
　　 With rst
　　　　 .Open strQuerySQL, _
　　　　　　　 pubCNNSTRING, _
　　　　　　　 adOpenStatic, _
　　　　　　　 adLockReadOnly
　　　　 If Not .BOF Then
　　　　　　 .MoveFirst
　　　　　　 DataValue = .Fields(0)
　　　　 End If
　　 End With
Exit_DBLookup:
On Error Resume Next
　　 rst.Close
　　 Set rst = Nothing
　　 DBLookup = IIf(Len(DataValue & "") = 0, ReturnValue, DataValue)
　　 Exit Function
Err_DBLookup:
　　 MsgBox "SELECT 文の実行時にエラーが発生しました。(DBLookup)" & Chr$(13) & Chr$(13) & _
　　　　　　"・Err.Description=" & Err.Description & Chr$(13) & _
　　　　　　"・SQL Text=" & strQuerySQL, _
　　　　　　vbExclamation, " 関数エラーメッセージ"
　　 Resume Exit_DBLookup
End Function

※SQL文を直接渡せば、もうチビットは高速化します。
※DBCount()を使う手もありますが、どっちが速いか不明。
※「一時的にWHERE節に関連する列にインデックス」は試す価値がとも。

http://www.accessclub.jp/ado/18.html

SEEKメソッドはDAOでしか使ったことがありません。
しかし、DBLookup()のSEEK版なら、もっと速いかもです。

通報する