Re: [請益] 100T左右的檔案下載並轉交(外接盒/Nas)

[Cubelia (大胸智乃)]

※ 引述《imbeginner (萬年初心者)》之銘言：
: 各位版友大家好
: 我有把檔案下載下來轉交給其他人的需求
: (因為對方不方便使用網路）
: 檔案在一個雲端上約100TB，打算用桌面版的程式一次全載下來，所以需要一個夠大的硬碟
: 原本有考慮外接吐司盒，插滿20TB做使用；但爬文發現吐司盒的安全性好像不太好
: 所以把念頭動到多插槽的nas上，只是我沒有用過nas，不曉得它能否當超大號隨身碟來做使用呢？
: 希望版友可以給我解答，非常感謝！
: -----
: Sent from JPTT on my Xiaomi M2007J3SG.

這麼大筆的資料量和需要的硬碟數不太可能仰賴傻瓜式RAID外接盒
想必也對資料完整性要求性很高，WIN平台+NTFS組RAID不太合適
家用還是得 mdadm+檔案系統(軟體層土炮) 或 整套ZFS

撇開主機自組，除非會玩Linux+會軟體層土炮，否則請買品牌NAS
ZFS請指名TrueNAS，這比單純軟體層土炮要簡單很多了
(Q也有跑ZFS的品牌NAS)


陣列怎麼組:
1.起碼也要使用兩顆冗餘的RAID6/RAID-Z2
常見NAS硬碟槽最高8個至少要買20T硬碟
此時20*6=120T；換算實際可用約109TiB


2.保險一點要求三顆冗餘，只能選ZFS RAID-Z3
8個硬碟槽維持實際可用至少100TiB就要買22T硬碟
不過這已經剛好裝滿了，ㄍㄧㄥ那麼緊不太實際(影響性能)
搞得到24T硬碟就能維持只用8個硬碟槽，同時保有109TiB的實際可用


3.更保險一點(多個陣列組存儲池)、更多可用容量就是預算無上限的範疇了


接著是網速問題，假如牽500M(理論值62.5MB/s)的網速
也假設這些一路暢通可不間斷維持這速度
100TiB=100*1024GB
102400*1024MB=104857600MB

104857600/62.5=1677721.6秒=466小時=19.4天
如果牽500M光是將資料拉回來至少要不間斷跑19天半

唯一選擇硬碟+陣列+整台NAS一起配好
直接在NAS+磁碟陣列上設定把資料拉回來(記得配UPS)，再人力將整套送去目的地

不然硬碟寄過去NAS品牌不合又得想辦法整理資料，超級大工程
除了時間就是金錢以外也增加轉移時操作失誤的可能性
當然你家那台NAS和他家那台NAS品牌有相容那是最好

如果是用ZFS那就輸出存儲池再寄硬碟於目的地主機輸入存儲池
TrueNAS有內建這功能，可以簡單辦到
其它土炮主機怎麼組、續傳下載、維護NAS和搞備份又是另外一回事

大概是醬，到時候有成功案例可以請大大分享看看XD

--

                       姊姊 姊姊 我們好像變成簽名檔了

                      雷姆 雷姆 好像真的是這麼一回事呢


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.173.160.3 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1706560110.A.D9B.html
推 selfhu      : 小檔會更慢，19天真的只是預估
這麼長的時間真的耗一次就好XD
※ 編輯: Cubelia (1.173.160.3 臺灣), 01/30/2024 07:20:17
推 fmp1234     : 100TB不分割心臟很大顆XD
推 ericpttt    : 推薦用TrueNAS 的 replication ，記得ram要給多一點
推 hzaxcp386   : 220T那絕對會被判定是濫用，難怪被砍
推 maniaque    : 雲端? 100TB ?? 100TB ??
→ maniaque    : 那已經不是一個夠大的外接硬碟可以處理了
→ maniaque    : 假如足 100TB ,至少也要6顆20TB 硬碟
→ maniaque    : 5顆100TB ,但切檔會大於吧
→ maniaque    : 乖乖用 6Bay or 8Bay NAS 吧,拉完整台交給對方
→ maniaque    : 不知道有誰會一次開 100TB 檔案.....資料庫或圖庫吧
→ maniaque    : 整個砍下來抓時間也要 1個月(19天太樂觀了....)
推 smallreader : 有沒有一種可能 直接跟谷歌買那100T的複本
→ addbear22   : 傳說中的磁帶機可行嗎?
推 maniaque    : 樓上....磁帶機應該不可能直接雲端傳到磁帶機上
→ maniaque    : 所以還是得有個硬碟組去存
→ hangtenboy  : 沒有另外實體的備份也太大心臟了