ハッシュの計算時間について

ハッシュの計算にかかる時間はファイル数とファイルの総容量のどちらに左右されるのでしょうか

No.2 回答者： ike-2000 回答日時： 2010/12/07 13:41

#1と同様の意見です。

自作のプログラム(ハッシュを計算して重複排除する)でやってみたところの数値です。

PC環境：Vista x64、Q9450、8GB、RR2310のRAID5、シーケンシャルアクセスは200MB/S程度

大きなファイルの場合：
　約80MB/S～100MB/Sでハッシュ値を求めることが出来ました(1Tです)。
小さなファイルの場合：
　約30万件のファイルがログ出力しながら約2時間で処理されます。

ディスク性能とファイルサイズに依存するようです。

No.1 回答者： rinkun 回答日時： 2010/12/05 02:48

ハッシュ値はファイルの全バイトに依存するので、ファイル全体を一度は読み込む必要がある。

従ってファイルサイズに依存する。通常はサイズに対して線形オーダーの時間がかかる。
全体サイズが同じでファイル数が増えた場合、ハッシュ計算の呼び出し回数や扱うハッシュ値の数が増えるので、そのオーバーヘッド分は処理時間が増えるだろう。しかしハッシュ計算に掛かる正味の時間は変わらないと考えられる。