Fw: [請問] 請推薦大量檔案備份工具(汰舊server用)

[alicekey (誰不喜歡美女！)]

※ [本文轉錄自 alicekey 信箱]

作者: sunez (風和日麗的理智) 看板: EZsoft
標題: [請問] 請推薦大量檔案備份工具(汰舊server用)
時間: Sat Feb  1 12:44:12 2014

事情是這樣的

Lab有一台很老的機器上面掛了很多老師的計畫網站
(作業系統是Win server 2003，硬體規格不算差...但記憶體只有1GB)

今年採購了新的機器想要更換掉原本這台

拿一台全新的NAS來備份上面的所有資料

如果只是一台server就算了

但這台server掛載了三台磁碟陣列(total資料量約45TB)

上面有一些大家share的東西

As you know......

小檔很多目錄也很多層

但單一檔案>1GB的也頗多

爬文後用了大家推薦的
Allway Sync --> 當機
cobian backup --> 當機
QtdSync --> 當機
甚至用群暉自家的Synology Data Replicator 3 --> 還是當機

後來我想到用另一台Windows Server連結NAS和那台Server跑備份(cobian backup)
就算備份那台當掉了原本計畫網站也不會掛掉
無奈的是這樣備份會用到本地端的暫存空間
暫存空間根本放不下那麼多檔案
也不可能讓暫存目錄掛載到其他磁碟陣列(這應該會超慢吧...)

最後VM一台Linux Server用Rsync備份
架構大概是這樣:

NAS <--iscsi-- backup Server <--samba-- old server
這樣的好處是不用暫存空間
也不容易當掉
但一天只能備份100GB左右
這樣算下來我起碼要450天才備份的完QQ

想問問版上的大大有沒有更適合的軟體
可以處理我目前面臨到的問題

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.232.231.209
→ x94fujo6:RichCopy?
→ wkwtb:ghost一類的，整個磁碟備份
這應該是最後的手段
推 b2rex:當機是怎樣當的,有的舊設備只是回應慢了點
→ b2rex:我有備份過一直當機,某天火大開著,隔天上班終於跑了
→ b2rex:只有1%,估記要數十天才備份的完,果斷放棄
遠端連不進去網站也連不進去只能進去機房重開機
→ eva19452002:fastcopy?
→ eva19452002:要不要先硬碟重整再做備份動作啊？速度應該會快很多唷
→ eva19452002:先把一些目錄做無損壓縮，再重整，再備份，速度應該會
→ eva19452002:快很多，也不容易當機
嘗試過TeraCopy、KillCopy還有FastCopy最後都會掛掉
應該是記憶體太小的關係
硬碟重整的話擔心資源不夠網站會掛掉
有時候會出現檔案毀損的錯誤訊息
是否還要做個chkdsk?
→ changtai:robocopy?
→ rick65134:所以是要online的方式備份? 感覺你都是用同步軟體跑備份
主要是用差異備份的功能才方便知道自己備份到哪...
推 xvid:ftp?
我試過把那台當作FTP Server...用filezilla傳到某些檔案就會中斷...
有個好處是FileZilla支援續傳
但有次我掛著想說讓它慢慢抓
後來好奇傳到哪要連遠端進去的時候才發現它掛了= =
※ 編輯: sunez           來自: 118.232.231.209      (02/02 17:06)
推 xvid:什麼掛了？bsod？還是ftp server掛了？
FTP Server掛了
→ rick65134:打死我也不用filezilla出的東西 不論是server或client!
→ rick65134:比它好用的一堆 何必虐待自己呢
→ rick65134:我自己有用過FTP連續傳過10TB的東西 一次搞定零中斷
推 newclicker:同步軟體首推 FreeFileSync
我嘗試看看
推 loking:對server不是很懂  不過你要不要先將新機器虛擬化
→ loking:將file server跟web server分開用不同虛擬機
→ loking:之後作備份較容易
也許之後會考慮這樣做...當所有備份方法都失敗的時候
※ 編輯: sunez           來自: 118.232.231.209      (02/03 00:37)
→ rein:http://git-annex.branchable.com/ 試試
推 wkwtb:我都用ghost一類的備份，要使用的時候他有自己的程式可以直
→ wkwtb:直接像虛擬光碟一樣，把映象檔掛載成為一個硬碟
→ wkwtb:之前我用的事acroins，不只可以掛載，還可以直接用檔案總管
→ wkwtb:讀寫（或可掛載成為唯獨）
→ wkwtb:至於ghost我記憶中也有類似功能，不過我沒用過
推 wkwtb:另外，既然跑陣列，為什麼不跑 raid5甚至跑 0+1
→ wkwtb:只要記得檢查硬碟有沒有壞調就好
已經有跑raid 6了
現在是打算把資料移到新機器上
舊的機器要汰換掉
※ 編輯: sunez           來自: 118.232.231.209      (02/04 16:45)

※ Deleted by: sunez (118.232.231.209) 02/04/2014 21:48:20

※ 發信站: 批踢踢實業坊(ptt.cc)
※ 轉錄者: alicekey (219.68.9.207), 時間: 02/05/2014 12:25:41
→ alicekey:版規：不得自刪文章，已從資源回收桶回復。
推 ACGB:這篇很有意思 希望看到原PO後續解決方法   還好垃圾桶回復了
推 chang0206:希望看到解法+1 這麼大量的資料要移動，向來都沒有啥好
→ chang0206:方法，所以公司換NAS，都只能用同廠牌一直升級上去..
→ chang0206:唯一一次不同廠牌資料要互轉，我是用FTP去處理掉
→ chang0206:如果網路環境許可，而新機器硬碟夠大的話，從新的NAS
→ chang0206:做一個iscsi出來，舊機器mount進來後開始備份，就算只有
→ chang0206:10MB，應該也只要跑個一個禮拜左右就可以跑完？
推 elic2577:先刪avi mkv vob ts 應該可以少個一半
推 rick65134:若是要用FTP的話 推薦使用gene6 + ftprush 認識很多做大
→ rick65134:事業的人都是用這種組合
推 sunez:最後是用robocopy的方式一邊掛iscsi一邊用samba去傳 60MB/s
推 sunez:另外robocopy可以搭配net use使用遠端傳輸 但速度極慢
推 sunez:同樣1000Gbps的環境 傳送最高17MB/s  接收2MB/s...