テラバイト単位のサーババックアップ方法

会社でcentOS5.7でサーバを運用しております。
サーバはsmbやwebやsvnやftp等いろいろなものが動作しているのですが、
共有領域をバックアップしたいと考えています。

総容量的には、1.5TB程度で、フル+日次差分でバックアップを取りたいと考えています。
バックアップ先はバッファロー社のNASです。

今まで以下の方法を試しましたが、断念しました。

rdiff-backup
→データが悪いのかFatal Error: Bad rdiff-backup-data dir と出て
正常にバックアップを取ることができませんでした

amanda
小さい容量のデータでネットワークバックアップを試したところ、
思ったよりも時間がかかりました。
単純計算で容量を増やした場合、実用できなさそうな為、あきらめました。
(12GBバックアップで1時間17分)

1.5TB程度をフル+日次差分でバックアップ取る場合、
他の方はどのような手段、方法でとっているのでしょうか。

No.6 回答者： onosuke 回答日時： 2013/07/14 01:40

tenma0305さん。

最近のTBクラスのストレージは、「フル+差分」な伝統的なバックアップ手法だとバックアップ時間要件を満たせないことが多いです。目的に合わせてバックアップ手法そのものを見直すのがオススメです。

・誤操作からのデータ復旧や変更履歴保存
->スナップショット

・主サーバ停止時のデータ復旧
->常時データレプリケーション


など優先目的がはっきりしていると、伝統的なバックアップ以外のソリューションが色々あります。
特にNASはスループットが低いのでより条件が厳しいですねσ(^_^;)

逆に、LTOやiSCSI接続高速ストレージなどでスループットを稼いで、伝統的なバックアップ手法を採用するケースもありますよ。

No.5 回答者： pixie-grasper 回答日時： 2013/07/10 17:29

#2です。

#3> RAID はバックアップの代わりにはなりません＞#2.
障害対策としてのバックアップの代用としては十分だと思うのですが。「複数の媒体に複製されたデータを保存する」という意味では全く同じ事をやっていますし、変更追跡が目的の場合についても補足してあるんですが、一般のRAIDがどういう場合にバックアップの代わりにならないのか、別途教えて頂きたいです。

No.4 回答者： yambejp 回答日時： 2013/07/10 12:21

障害対策としてのバックアップということなら

rsyncで別マシンにシンクロすればフルバックアップといっても
最低限のデータ量ですむんじゃないですか？

履歴を残すのが目的ならzfsのsnapshotで十分だと思います

No.3 回答者： Tacosan 回答日時： 2013/07/09 23:15

RAID はバックアップの代わりにはなりません＞#2.

もちろん (「ネットワーク」にもよるが) 「1.5 TB をフルバックアップ」しようとしたら時間がかかることはしょうがないわけだが.

No.2 回答者： pixie-grasper 回答日時： 2013/07/09 17:33

ネットワークケーブルの通信速度を100Mbpsであるものとすると、

1.5TBという量のデータの送信にはどうしても
1.5*1000*1000/100*8=120000
120000/60/60≒33.3
と、33時間くらい掛かってしまいます。
12GBのバックアップで1時間17分という事はこの20%くらいの速度が出ているので、まぁまぁ速い方だとは思うのですが・・・

バックアップを取るよりは、RAIDを組んでマウントする方が現実的かと思われます。
更新履歴を遡ってファイルを書き戻すという(Mac OS Xの「タイムマシン」のような)用途でしたら、差分管理ツール(gitやmercurial等)の類を別途使うと良いでしょう。

No.1 回答者： duke_kimura 回答日時： 2013/07/09 17:24

ネットワーク経由でファイルを転送する場合は、1日単位で数アーカイブに収めないと効率が極端に悪くなります。

(「ファイルの数」が多いとトラフィックが激増します)

ですので、
・Centos側で数アーカイブ程度にした上で転送
・アーカイブの出力先をNASに向けて転送
のどちらかが良いと思いますが、Centos側がSSDであれば無駄に劣化を早める事になるので前者はあまりおすすめできません。

アーカイブ化、NASへの転送はシェルを夜間バッチで動かす程度でよいと思います。