[心得] FreeNAS

[ShopBuddy (大家生日快樂)]

這幾天玩了FreeNAS

看了一些前輩的文章, 發現大多是用高級/新的電腦, 當然用舊的電腦也不在少數

安裝/設定中處理了一些問題, 想分享幾個能輕鬆玩的心得

  1.網卡支援
    *10/100Mbps的網卡基本上都有支援(不過既然要架NAS, 應該不會想用10/100的)
    *10/100/1000Mbps的網卡
     Onboard的有些沒有正確的driver可以支援(好像Marvell的支援度蠻高)
     我試過Intel和Realtek的
     > Intel的網卡, 越舊的系列越好
       我用了9301CT,(晶片82574L), drver七月才釋出,所以到FreeNAS 9.3都還沒有支援
       8391GT(晶片82541PI)就有支援了
       FreeNAS 9.3支援的Intel網卡晶片清單如下:(後面如果多了其他字母就不支援)
         82540, 82541ER, 82541PI, 82542, 82543, 82544, 82545, 82546, 82546EB,
         82546GB, 82547, 82571, 82572, 82573, 82574

     > Realtek的網卡我只有玩8169SC, 8111E, 8111G. 在FreeNAS 9.3只有支援8169SC
       如果要玩8111X的, 建議玩FreeNAS 8, 因為Realtek官方driver只有支援FreeBSD8
       FreeNAS 9.3支援的Realtek晶片如下:(後面多了其他字母就不知道了)
         RTL8139C+, RTL8169, RTL816xS, RTL811xS, RTL8168, RTL810xE, RTL8111
         小心8111X是個地雷, 尤其是8111E(有9個版本, BSD沒有全支援)
         想玩FreeNAS 9.3的話, 8139, 8169可以試, 其他的要FreeNAS 8才有高支援度

     > 如果的Onboard網卡很不幸地沒被支援到的話, 建議要買就買PCI-E介面的
       用舊主機的話,買PCI介面的很有機會遇到PCI Ver2.3 33MHz/66MHz的地雷
       (傳輸20MB/40MBsec)

     > 我爬了很多文,蠻多國外網友遇到速度卡在20MB/40MB(如果你也遇到相同的問題?)
       回答問題的人都很熱心, 但最後大家都沒找出答案
       剛好我用了PCI介面的SATA II擴充卡和網卡, 經過一連串的dd指令交叉測試後
       我已經推斷出是PCI頻寬的問題, 這問題在我換了一組新的MB/CPU/RAM之後就沒了
       通路上要買到PCI-E介面的SATA II/III很容易
       但是PCI-E介面的網卡能用的不多, 如果有上面列出的晶片最好. 免得不能用.


  2.硬體
    如果要拿來架NAS的舊PC剛好配備不錯, 恭喜你!
    如果NAS不是架好玩的, 建議花個10,000買市面上新品最低階的套餐, 玩起來很開心
    *機殼
     > 如果不是重度使用者, 不需要常常換硬碟的話一般PC機殼就好.
       既然是NAS, 就要很多bay, 建議至少來個4 bay 3.5"(我是用了7 bay)
       應該會有3~5個5.25"可以玩玩hot swap(主機板或SATA控制器要有支援)
       最好是大一點的機殼, 理線和維修時才不會太難過, 也有空間裝風扇散熱

    *主機板
     > 既然是NAS, 所以SATA(I/II/III)控制器最好有4 port以上(有看到有8 port的),
       這樣以後才不用再擴充
       有沒有要支援ECC Registered RAM? 見仁見智. RAM至少要裝8GB.
       PCI-E一定會有, PCI-E 1X可能會有1個或兩個, PCI可能只有一個或是根本沒有
       重度玩家一定要重視擴充性, 一次到位.

    *硬碟
     > 如果是重度玩家或非常重視資料安全(可讀性), 建議還是乖乖用NAS碟
       如果資料沒有很重要, 或是有用離線裝置在備份的話, PC碟就夠了
       我個人是有在離線備份
       而且我愚蠢地認為, 運氣不好買到同一批號有問題的話, MTBF再高都是屁
       因為保固不會負責救你的資料

    *擴充卡
     > 盡量用PCI-E介面的

    *PSU
     > 這不是拿來打game用, 所以不會有耗電的顯示卡, 也不需要耗電量高的CPU
         10顆內的硬碟, 500W很夠用了, 挑穩定一點的

    *UPS
     > 見仁見智. 要的話就挑線上的, 連接到NAS, 停電可以自動關機.


  3.系統
    *開機碟
     > 把開機碟裝在USB隨身碟上就好, 別浪費SATA/IDE port
       可以多製作備份的開機碟, 反正更新後, 把備份的設定檔套用上去就好了

    *磁碟陣列
     > 只重視效能的話跑Raid 0(Stripe)
       (壞一顆全部gg)

     > 只重視資料安全的話跑Raid 1(Mirror)
       (可以壞掉不同順位的硬碟)

     > 重視效能+資料安全的話跑Raid 10(Stripe + Mirror)
       (很安全了, 但是$$$$$和浪費掉的空間...)

     > 效能+安全+銀彈考量的話跑Raid 5(Raid-Z), 但是都買同批號硬碟的話, 風險很高
         需要硬碟數量>=3, 可用硬碟空間-1(可壞一顆. 重建前再壞1顆就gg了)

     > 效能+安全+銀彈足夠的話跑Raid 6(Raid-Z2)
         需要硬碟數量>=4, 可用硬碟空間-2(可壞二顆, 重建前壞第三顆可以買樂透了)

    *WebUI
       自組的自然會有很多東西可以調整, FreeNAS有很多東西可以摸索
       系統中可以下載一些外掛來玩玩(不過有些外掛的官方有付費的額外功能)
       免費的外掛,用得到的部分已經很足夠了


  4.後記
     > 架好後, 如果磁碟陣列的I/O不慢, 1Gbps網卡和線路夠穩的話, 跑110MB/sec up
       我測試過Raid-Z, 3顆SATA III 2T PC碟. Read: 189MB/sec, Write: 323MB/sec.
       Raid-Z2改天再來試, 應該是快了一些!
       所以磁碟陣列的I/O不慢的話,可以餵飽你1Gbps網卡,掛在網路磁碟用起來很爽了

     > 如果沒耐性DIY或是沒什麼信心的話, 建議別自組, 這錢該留給人家賺
       只是效能和擴充性就...., 但是你會有很好的commercial support.

     > 如果是重度使用者, 加上10Gb Ethernet, 這是一個high performance的便宜方案

     > FreeNAS 9把USB 3.0關掉了, 因為官方說會導致嚴重的問題

     > Nightly Build中的FreeNAS 10有新/舊介面, FreeNAS 10.2只有新介面, 不習慣.

     > 有些硬體和功能可能在FreeNAS 10/10.2中有支援(像USB 3.0就是)

     > FreeNAS上可能會比較有用到的Plugin:
        Plex MediaServer: 影/音/圖/串流, 有App.
        ownCloud: 私人雲端檔案同步/備份系統, 有App.
        其他影/音/檔案/串流/BT軟體就不贅述了


P.S. 我只是個小咖、輕度使用者，請各位前輩多多指教


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.82.221.90
※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1449161886.A.2CD.html
推 Litfal      : Raid-Z2應該會比Z1還慢喔
推 hpo14       : 推心得
推 SuperPenguin: 看不太懂推
→ HamalAri    : 為什麼自組都是 FreeNAS ??  光 BSD 核心就輸了
推 newdreams   : 推
推 haoto       : 因為windows的爛 linux的沒有堪用webui
推 filiaslayers: 耗電也大輸一般nas
推 haoto       : 計較耗電買picoPSU就好了 不過電費其實省不回來
→ ShopBuddy   : 耗電輸一般NAS應該是指10顆以下
→ ShopBuddy   : 用很多顆硬碟組多陣列, 大量I/O時, C/P就出來了
→ ShopBuddy   : 但其實組NAS會去計較電費就有點太苛求了
推 filiaslayers: 嫌windows爛，講的好像linux有多好一樣，跟本是屁
推 haoto       : 你有用過ReFS再來丟臉
推 Zangief     : 推 使用心得!! 最近也想組台來玩玩
→ Zangief     : 會有 勒索病毒 的災情嗎?
推 chang0206   : 等..等一下，為啥BSD核心就輸了？
→ chang0206   : 勒索病毒不會管你用啥NAS啦..
→ NINJA0210   : 不清楚勒索病毒的原理,但如果不限M$,那手機也會中?
→ NINJA0210   : 但如果是M$才能執行的病毒,要NAS開網芳那種才會中
→ NINJA0210   : 我也好奇為什麼BSD核心就輸了,群暉QNAP也是類似的吧
→ bjack815    : Solaris 11 x86 才是王道
→ chang0206   : 你手機能執行.exe ?
→ chang0206   : 講XXX 是王道的，有啥理由嗎？
→ ShopBuddy   : 你們說的勒索病毒好像只針對Synology舊版DSM的漏洞
→ ShopBuddy   : 如果不想要NAS上的檔案被外來的軟體直接影響
→ ShopBuddy   : 就不要用網芳.
推 sai25       : 沒有app的NAS 沒有用處
※ 編輯: ShopBuddy (223.141.80.24), 12/04/2015 12:36:35
推 chang0206   : >>沒有app的NAS 沒有用處  NA/EMC/DELL:這樣也中槍?
推 pennymarkfox: 我就用windows自已架nas也是用爽爽
→ pennymarkfox: plex, filezilla server, hfs, utorrent web ui
→ pennymarkfox: 只是缺點就是組了itx，接了一堆usb硬碟。
→ pennymarkfox: 我想可能要換個磁碟陣列盒了吧 囧"
→ ShopBuddy   : 樓上最快最省的進階方式是去弄個USB 3.0的硬碟塔
推 Litfal      : BSD優點是能用ZFS──基於檔案系統的Software Raid
→ Litfal      : 基於Pool的方式去分離與管理裝置與磁碟空間。
→ Litfal      : WINDOWS平台無法使用，而相對應的ReFS還太嫩。
→ Litfal      : 但WIN也不是非用ReFS不可，動態磁碟的鏡像(RAID1)
→ Litfal      : 與Raid-5也能用。(不過我個人不喜歡動態磁碟)
→ Litfal      : 用Hardware Raid更沒這問題。ZFS反而要PassThrough
推 carll0305   : 請問有搭配手機/平板使用的app嗎?
→ Litfal      : WINDOWS的優勢在於大家熟悉的介面，與用不完的程式
→ Litfal      : 對硬體(尤其是新硬體)的支援也較BSD來得好。
推 wuliou      : 我也是用Windows取代NAS
→ wuliou      : FTP/DLNA/BT/網頁樣樣有
→ wuliou      : 而且什麼硬體都插上去就好了 不用像unix驅動搞半天
推 chang0206   : 我再推一個Windows NAS的優點，尤其在企業內應用的
→ chang0206   : Windows和AD的整合相當良好(廢話)，要設定ACL很容易
→ chang0206   : 但是其他的Unix Based NAS，在AD整合上，或多或少都
→ chang0206   : 會有問題。這點真的非常重要，如果你需要很多很細的
→ chang0206   : ACL設定的時候，你絕對不會想用S/Q的ACL ...
→ chang0206   : 其實這也是我陸續把幾台NAS上的檔案，慢慢移轉到
→ chang0206   : Windows上的主因。第一層由WINDOWS來管，其他FS有的
→ chang0206   : 優點，像是快照，我是放在第二層的備份伺服器上處理
→ chang0206   :                               或者是Storage
推 haoto       : raid沒有checksum 所以才需要ZFS/BTRFS/ReFS啊
→ haoto       : 後面還有好幾層備份的話當然是可以用NTFS 家用的話
→ haoto       : 某天發現資料壞了早就沒救了
→ ShopBuddy   : Raidz2 + lz4壓縮, I/O speed已經夠嚇人
→ ShopBuddy   : Raidz2 + hot spare或Raidz3 資料已經夠安全了
→ ShopBuddy   : 還在摸索中
推 chang0206   : NAS I/O 那麼快不知道要幹嘛～
→ ShopBuddy   : 有關ZFS安全性和效能 參考這 https://goo.gl/3jUfES
→ ShopBuddy   : I/O快 我在NAS本機備份離線資料2T一個多小時就完成
→ ShopBuddy   : Raidz1, 2, 3 I/O都有比較慢,透過lz4壓縮(吃CPU)
→ ShopBuddy   : R, RW, W速度都加快很多 如果同時在RW的話,不無小補
→ HamalAri    :  zfs 每個板本都長的不太一樣，相容性根本惡夢
→ HamalAri    :  BSD 連網路支援都輸 linux , 要跑 vm 也問題很多
→ HamalAri    :  bsd 跑 xen 也是惡夢，bsd 讀 ext4 也不穩又麻煩
→ HamalAri    :  而且 zfs 又很吃 ram , BSD 根本沒有任何優點
→ HamalAri    :  喜歡一切交給檔案系統處理的去用 btrfs ，不喜歡的
→ HamalAri    :  就 mdadm 。我 mdadm 只用來 raid0 ，checksum 和
→ HamalAri    :  備份交給 snapraid ( snapraid 不是 raid )
推 jyhfang     : ZFS這麼依賴checksum 不使用ECC RAM會不會有問題?
推 Gaujing     : 純推openmediavault
推 birdy590    : ZFS 平台是 Solaris > BSD > Linux
→ birdy590    : Linux 上的 ZFS 是 LLNL 為他們的超級電腦從頭寫的
→ haoto       : 蛤 ZoL就是ZFS的port 從頭寫就不會進不了kernel了..
→ haoto       : 我看ZoL也只是慢了點 不過都用linux了當然選btrfs啦
→ chang0206   : 我倒是第一次聽說ZFS有相容性問題，至於其他的
→ chang0206   : 「缺點」跟拿來跑NAS有關係？
推 Litfal      : 其實我對適合NAS的機殼比較有興趣...DS380感覺不錯
→ Litfal      : 但似乎上擴充卡會卡到3.5吋硬碟，很可惜(與長度有關
推 asdfghjklasd: BSD 沒那比 Linux 插，是用的人的問題
→ ShopBuddy   : 沒用ECC RAM 沒有人家傳的那樣糟糕
→ ShopBuddy   : 但是還是有機會寫入壞檔案
→ ShopBuddy   : 有一個參數可以強迫ZFS debug在寫入前確認RAM內容
推 goldie      : 推