[心得] FreeNAS / TrueNAS 七年之癢(?)

[tonysan (旅法師)]

網誌沒有比較好讀版:

https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html


七年前古文: #1MMGYTuc (Storage_Zone)


自從組 FreeNAS 已經過了七年，特別寫一篇 blog 詳述中間各種變化與升級，下面條列
升級重點，給沒時間細讀的人參考:

    記憶體加滿 - 128G
    加了一張 PCIe NVMe 擴充卡
        把開機 USB 換成 NVMe
        再多加一張 NVMe 當成 L2ARC
    硬碟就地升級成 8TB
        拆外接硬碟，改 SATA 電源接頭
        用 smartctl 跟 badblocks 壓力測試硬碟
        陣列重組 (resilvering)
    升級區網，終於讓主機板上的 10G 網卡解除限制器
    CIFS 效能從 3.5Gbps 提升到 5.45Gbps


對細節有興趣的請繼續往下看...



在 FreeNAS 上面跑幾個比較肥的 VM，記憶體有多少都不夠用。因此把記憶體加滿這種事
情在經過大腦思考前，膝蓋都已經下單結帳完了。不過每次重開機，VM 也會跟著一起重
開，不太方便，後來就把 VM 上跑的東西慢慢移到另外一台機器上跑 docker。

古早以前，FreeNAS 開機是放在 USB 上面，但自從 11.1 後，開機碟會有頻繁的讀寫，
官方建議放在正常的硬碟上。（當然我是直到 USB 碟掛點了才知道這件事情。） 但這張
主機板已經沒有多餘的插槽裝二個開機碟。

還好主機板上還有一個 PCIe x16，我當然也可以裝一張 HBA 擴充卡，或者是這個閃閃發
光的神奇裝置 (ASUS Hyper M2 擴充卡)，而且正好主機板有支援 PCIe bifurcation，唉，我的膝蓋又下單了...　
而且好像可以多插幾張NVMe... 那就順便加個 L2ARC 好了！

不過對效能影響最大的升級不在機器本身，當我把區網升級到 2.5G / 10G 後，限制器整
個解除，六顆 WD Red 4TB 竟然 CIFS 可以維持在 3.5Gbps，整個跌破眼鏡。



不久後武漢肺炎（與它的變種們）就爆發了，加州還因為野火太旺，直接進入媽的刀鋒戰
士，接著供應鏈炸裂，跟不知道哪個天才發明的奇亞幣，讓硬碟價錢跳了好幾階，我的升
級計畫就暫時被擱置了...

直到某一天在附近的溝子口看到特價硬碟，我的膝蓋就拿出信用卡下單了。但這特價硬碟
需要稍微處理一下才能用，要先從外接盒裡把硬碟拆出來，並且把 SATA 電源接頭第三腳
用絕緣膠帶貼起來（用 Molex 轉 SATA也可以）

接上去確定硬碟都抓到以後，就開始燒機測試（注意，以下的燒機測試會同時燒掉硬碟上
的資料），用 smartctl 短長各跑一輪，接下來用 badblocks 進行讀寫測試（ -c 用大
一點會跑稍快），測試完後再跑一次 smartctl long... 這顆 8TB 總共花了 110 小時才
跑完（建議全部接上去，一口氣壓測）。我另一台機器只有 4 SATA port，只好分二批測
。

（測完以後發現有二顆硬碟讀寫稍微快一點（2%），不知是硬碟樂透，還是正常的效能浮
動。）

燒機燒完確定沒有不良品，SMART 數值正常，就可以上線啦！利用 resilver 機制一顆一
顆慢慢換，每次 10 小時，換到後面越來越快，可能是因為從 5400 轉升級到 7200 轉，
讓整體效能慢慢增加的原因吧？換完 raid z2 pool 容量就自動升級到 8TB x (6-2)

最後 CIFS 實測，cache miss 可以維持在 5.45Gbps，disk busy 大概在 80% 左右，看
來在區網全面升級成 10Gbps 之前，這台可以再戰個幾年沒有問題。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.105.214.152 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1665128972.A.52F.html
※ 編輯: tonysan (99.105.214.152 美國), 10/07/2022 15:50:58
推 giorno78    : 請問 VM 是跑什麼? 需要這麼多記憶體?
→ tonysan     : 其實就算只跑TrueNAS, ARC也會慢慢吃光128G
→ tonysan     : 當時VM跑一個 Ubuntu Desktop，二個Ubuntu server,
→ tonysan     :  上面塞一堆service (crashplan, plex, pihole….)
推 baby850811  : 看別人花錢就是爽快（？
→ baby850811  : 很有趣的紀錄 XD
推 zonppp      : 貧窮真的會限制一個人的想像
→ tonysan     : 分七年攤下來其實沒有很貴（？
→ Saren       : 一直都有計劃搞一個 但是沒有空間給我擺 /__\
→ tomsawyer   : arc預設就是全用啊 你有用zilog嗎？
→ tonysan     : 沒有用ZIL，Write heavy application 會跑完再cron
→ tonysan     :  rsync回來
推 a07051226   : 我只有給他12G，然後是放在 PVE 上
→ a07051226   : PCI passthrough 進去給他吃 sata controller
→ a07051226   : 讀寫效能就，普普通通吧
推 qunxiang    : 感謝經驗分享
→ qunxiang    : 原PO的膝蓋真好動XD
推 Cubelia     : 有料
推 jack860719  : 比較好奇原PO用什麼平台跑FreeNAS
推 Taichun318  : 感謝分享
→ game0502    : 我之前freenas 11.3隨身碟boot也是死很快，後來改5
→ game0502    : 00G SSD外接
→ asdfghjklasd: 我用 FreeNAS 跑在USB 上也是常常死掉
→ tonysan     : a我id看七年前的文章 上面有寫
→ tonysan     : Supermicro X10 Xeon D ITX
推 Mvp256      : 用舊的128g的mlc來灌truenas scale應該不會死很快吧
→ tonysan     : 應該不會，但安全起見，mirror boot 壞一顆還可以
→ tonysan     : 救XD
→ tonysan     : 不過我還沒升級到Scale
推 SmithYANG   : 原PO的那篇文章也七年了啊...
推 bluezero000 : 我現在在弄，也是掛在pve 上弄sata直通
→ bluezero000 : scale的VM不能直通顯卡，超哭
→ tonysan     : Scale 還不夠成熟，再給他一點時間
推 wk415937    : 推分享
推 finaldark   : pve sas2308 直通+1
推 cancelpc    : zfs很吃記憶體
※ 編輯: tonysan (99.105.214.152 美國), 10/10/2022 11:11:08
→ tonysan     : 如果要SAS 可以考慮 X10SDV-7TP4F 神版
推 finaldark   : 可以請教一下超微的板要去那買?
推 TWN48       : 巴德？或是有在賣伺服器的 SI 廠商？
→ TWN48       : 拍賣平台搜一下有些賣家看起來也是專賣這類的。
推 FTICR       : 感謝分享