[心得] 自組OMV6的流水式記錄(文長、圖多注意!!

[SmithYANG ()]

※2022/10/17 新增失敗實驗的記錄。


前言：
由於TureNAS空間的告急及硬碟一直在報錯，
所以組裝新NAS的任務刻不容緩!!(其實就是手癢想折騰XD)
這篇文章算是記錄我折騰OMV時的過程及遇到BUG的除錯，
以及後面共享資料夾的設定與些許的心得。
一樣流水式的記錄。
圖多、文長、拍照技術也不算好。
更別提相關知識非專業，完全是爬文學習解決的辦法。
如果有更好的建議或想法，歡迎版友們提出討論~
(以下圖多，自動開圖還請注意流量)



先說整套零件：
CPU：E3-1220L v3
主機板：supermicro C7Z97-OCE
記憶體：創建 DDR3 1333 4G 四根共16G
顯示卡：AMD HD8570 1G (亮機用)
網路卡：82576-T2 2Port 1G網卡
HBA卡：技嘉 GC-MSLZ2(IT omde)
硬碟：WD HC550 16TB 12顆(礦盤)
機殼：X-PRO SMART 9大機殼
硬碟抽取盒：ICY DOCK 黑旋風MB074SP-B 三轉四 3組
電源供應器：微星 MPG A650GF
系統碟：創見及三星 64G msata 轉2.5吋SSD
預定：Mellanox ConnectX-3 2Port 10G網卡

關於這張主機板，原先是想拿來組UNRAID搭OPNSense用途的。
不過因為急迫性(手癢)，只好先拿來組OMV了...

但是拿到手後發現的第一個狀況...
https://imgur.com/GbBT97U
這張板子的背板強化支架整個黏死了!!

最後用吹風機以及在大力出奇蹟之下，好不容易才將其給撥下來...
https://imgur.com/5AEtbVw

之後上U
https://imgur.com/m02bRaC

顯示卡
https://imgur.com/1jGThYj

網路卡
https://imgur.com/GiAhCz0

驗明正身
https://imgur.com/2klvTN7

裸機先組裝起來測試
https://imgur.com/8QXlqjM

順利進入BIOS
https://imgur.com/N5Lppfk

兩塊系統碟
https://imgur.com/uUxpk5w

裝入機殼
※請無視靈魂走線法，反正側版蓋上就看不到了~XD
https://imgur.com/kU84VdX

確認HBA卡可以抓到驅動
https://imgur.com/7Zgyj1g

確認兩塊系統碟都可以抓到
https://imgur.com/6ZYoPk4

到官方網站下載ISO並製作安裝碟
https://www.openmediavault.org/

再次進到BIOS
https://imgur.com/nefHjSj

調整開機順序
https://imgur.com/TMoPFwV

開始安裝
※安裝過程全程中文化~
https://imgur.com/vNWYHiG

主機板雙網口及加裝的網路卡可以順利加載驅動
https://imgur.com/qRDu7dk

主機名稱簡單取
https://imgur.com/UEc2Q1l

硬碟分割
https://imgur.com/2iB6mfj

使用三星那塊
※原先我以為OMV可以像TureNAS一樣，將系統做成RAID1。
沒想到只能擇一使用...。後面將另外想法子解決!!
https://imgur.com/0uGxAQ2

鏡像來源選擇交大的伺服器
https://imgur.com/54f5Try

安裝完成後重新啟動，移除安裝碟並將系統碟設為Boot
https://imgur.com/xQHVtxM

當看到這個畫面時，代表順利進入系統。可以拔掉螢幕線換另一台電腦操作~
https://imgur.com/9jToKwp
※注意!! 是拔掉螢幕線，不是拔掉顯示卡。如果拔掉顯示卡會無法開機!!
一開始我以為是哪裡沒設定好，後來爬文才看到有人有類似的狀況。
討論1：
https://forum.openmediavault.org/index.php?thread/33850-disable-gpu-completely/
討論2：
https://www.reddit.com/r/homelab/comments/6pkvwh/why_does_freenas_work_perfectly_fine_headlessno/
討論3：
https://unix.stackexchange.com/questions/595486/grub-not-booting-debian-without-gpu-attached


先到DHCP伺服器查看OMV主機被配發的IP
https://imgur.com/8Et8gV1

接著開啟瀏覽器並輸入網址就可以連上OMV了~
要注意的是，在這裡的帳號及密碼分別是admin／openmediavault，
而非在安裝過程中設定的root密碼。
https://imgur.com/Tmia7cE
※如果帳密正確仍無法登入，可SSH連線進主機更改密碼。
解決辦法：https://forum.openmediavault.org/index.php?thread/5934-omv-firstaid-usage/

一開始的主畫面，比起OMV5好看多了~(我也是因為看到改變才手癢的XD)
https://imgur.com/lwgYPUO

第一件事情就是點選右上角齒輪更改登入密碼
https://imgur.com/VbfV1hK

接下來要更換內核，好讓OMV可以使用ZFS Plugin
https://imgur.com/YIi4rQQ

使用putty連上OMV
https://imgur.com/LkVGafM

此時的帳號是root，密碼就是在安裝系統中設定的那組
https://imgur.com/oXiGGym

接下來安裝 OMV-Extras Plugin，算是個增強版的Plugin。
輸入「wget -O -
https://github.com/OpenMediaVault-Plugin-Developers/packages/raw/master/install
| bash」
※這是OMV6唯一能夠使用的辦法。
來源網址：
https://forum.openmediavault.org/index.php?thread/5549-omv-extras-org-plugin/

待跑完安裝，底下游標回到root時。返回瀏覽器並且重新整理
https://imgur.com/jsaSKT2

此時可以看到左邊欄位出現OMV-Extras Plugin了
https://imgur.com/cWgTatq

接著點進裡面的設定，將向後移植給取消並保存設定。
https://imgur.com/Gc8HZ12
※除了右邊的儲存外，右上角的勾也要點選，設定才會生效。OMV所有的設定都要確認兩次...
向後移植之所以要取消的討論：
https://forum.openmediavault.org/index.php?thread/41600-zfs-plugin-install-fails-on-fresh-omv6-and-how-to-fix-it/

由於OMV所使用的是Debian內核，無法使用ZFS Plugin。必須替換成proxmox的才行。
所以點選左邊的插件，並且在右邊的搜索欄中搜尋「kernel」
選擇第一個選項後，點擊上面的下載箭頭。
https://imgur.com/278CwAy

出現END OF LINE後即可關閉畫面
https://imgur.com/NHZeWN6

重新整理瀏覽器後，就可以在左邊看到系統核心。
不過此時還是使用Debian內核。
https://imgur.com/Yhjy1v7

點選下載按鈕，我是選擇5.15版本
https://imgur.com/Bf7KL6R

不過系統似乎會升級到最新5.19版本?
https://imgur.com/NYOH686

完成後重新開機，就可以看到內核已經替換成proxmox的了
https://imgur.com/F64yBMm

為了以防萬一，刪除Debian內核。只留下proxmox的。
https://imgur.com/3dVnzyb
※原作者所說：
https://forum.openmediavault.org/index.php?thread/41983-omv-6-error-when-installing-openmediavault-zfs-6-0-5/

接下來回到插件，搜尋「ZFS」並安裝
https://imgur.com/EwNgY0i

一樣出現END OF LINE後關閉畫面並重新整理瀏覽器
https://imgur.com/d3jvZVF

就可以在左邊的儲存裝置中看到ZFS了
https://imgur.com/9BIjiqk

此時該安裝的都裝好了，把所有插件都更新一下
https://imgur.com/1NGq0Ak
※如果在更換內核後才更新，有時會遇到error。重新整理瀏覽器就好。

更新後，右上角的齒輪中多了Dark mode
https://imgur.com/6usf1sF

接下來到儲存裝置->磁碟中，記錄硬碟的位置及序號
例如：sda/序號1、sdb/序號2、sdc/序號3...以此類推。
https://imgur.com/bPlzaRz
※在OMV中使用ZFS Plugin只能建立pool，無法建立vdev。
後面要使用指令來操作，所以先記錄起來備用。

此時如果要建立pool，會看不到硬碟
https://imgur.com/McD15wz
※唯一的那顆，就是創見的msata

所以要回到儲存裝置-磁碟，
點選硬碟後，在點擊上面橡皮擦圖案清除硬碟的分區。
https://imgur.com/mQaXj8d
※由於這個動作沒辦法多選，12顆硬碟就要重複12次...

選擇快速抹除
https://imgur.com/bZBmnmM

老樣子，關閉
https://imgur.com/x5R21Yc

此時操作中就可以看到硬碟了
https://imgur.com/tVWc3fe

如果只是想單純建立pool，現在就可以操作
https://imgur.com/9m3Ndgd

選擇要的類型
https://imgur.com/SyfVJ4m

但是只能新增pool，還是沒有vdev
https://imgur.com/9JKbqmM

由於12顆硬碟位於3個抽取盒中，
所以我打算每4顆建立raidz，之後在組成stripe。
用序號確認好各抽取盒中硬碟的路徑(sda、sdb、sdc...)，用putty輸入指令。
https://imgur.com/LrKUVm0

https://imgur.com/DfQZBqv

pool建立完成
https://imgur.com/S7c7OFZ

==========================================================================
※以下為不透過指令，而用ZFS Plugun建立pool的失敗實驗
※為避免中翻英的錯誤，將介面調整為英文。

首先先查看上面建立的pool的訊息並且刪除它
https://imgur.com/Gw1fnt4

現在ZFS-pool為空
https://imgur.com/zB6lyjT

一樣抹除硬碟
https://imgur.com/wZRKWCl

接著建立pool
https://imgur.com/IUSQSek

按照我的規劃，使用四顆硬碟建立一組RAID-Z1
https://imgur.com/V0L21r9

https://imgur.com/Kbf7iO2

pool建立完成，並點選右上角更新
https://imgur.com/lVugNty

此時透過命令，可以確認這四顆建立完成
https://imgur.com/nerNUxz

這時候選擇Expand pool
https://imgur.com/MgcLTFe

再選擇四顆硬碟
https://imgur.com/R8JtY5f

就會發現只有一顆硬碟
https://imgur.com/0lmxNRq

若是選擇SAVE
https://imgur.com/JO5NwXM

就會出現錯誤警告
https://imgur.com/m8FLOm2

此時用命令查看，會發現還是只有原先建立的pool
https://imgur.com/g6ehjs1

在論壇中也有人遇到此問題，而其他人的回應也是改用CLI建立pool。
相關討論：https://forum.openmediavault.org/index.php?thread/43721-problem-creating-zfs-striped-mirror-4-hdd-omv-6/

當然如果硬碟數較少，只使用一組vdev的話。
透過ZFS Plugin建立就已足夠了~

※以上為個人實驗測試記錄
==========================================================================

接下來建立共享資料夾，名稱就設定為Data。
檔案系統選擇剛才建立的pool。
https://imgur.com/8AfYmuA

儲存後記得右上角的更新
https://imgur.com/YFptsgk

由於OMV沒辦法直接以admin或root直接訪問共享資料夾，所以要新增一個用戶。
https://imgur.com/BghjYyk

名稱、密碼自訂，中間有個群組選擇「users」。
https://imgur.com/yzS5Lfz

儲存、更新。
https://imgur.com/c1NVw1h

在左邊的服務-SMB/CIFS-共享中，新建SMB共享資料夾
https://imgur.com/Jja0CiB

啟用並選擇剛才建立的資料夾(Data)
https://imgur.com/7MPQ6mQ

https://imgur.com/H0HZaX5

最後在設定中記得開啟SMB
https://imgur.com/fBbW4a0

回到我的電腦中，用IP連線。
帳號及密碼就是剛才新建的用戶。
https://imgur.com/30k7xVk

成功!!
https://imgur.com/LokfUUl

掛載成網路磁碟機
https://imgur.com/xCO2cVg

同樣以IP連線並輸入帳號密碼
https://imgur.com/9ChU2b7

成功!!
https://imgur.com/gvLBMxY

測試從桌面丟個檔案進去，速度穩定在1G。
https://imgur.com/0woPLMr
※C槽為WD SN750

此時的系統佔用率
https://imgur.com/AFcClDa

反過來複製到桌面
https://imgur.com/aavTStr

此時的系統佔用率
https://imgur.com/mZEnUCS



心得：
如同文章開頭所說，若非有急需，不然這OMV也不會這麼快組出來。
尤其組裝中所遇到的各種問題，更是邊爬文邊尋找解決的辦法。
10G網卡沒到，也無法測試這樣組pool是否能達到我的理想速度?
之所以用ZFS，除了對諸多功能感到興趣(例如：快照、去重、壓縮...等)，
還有就是為了後面重組TureNAS先來練手~
總之這台OMV就在這種情況中誕生了。
至於ZFS中，pool、vdev、ACL等部分。還有如何提升pool的性能等調教方式。
由於尚未理解通透，就不講出來誤導人了!!
就算不用ZFS，OMV也可使用一般的RAID。 相信也夠一般大眾的使用了~
感謝各位看到這裡。


參考資料：
官方文檔：https://docs.openmediavault.org/en/6.x/index.html
官方討論區：https://forum.openmediavault.org/wsc/
Oracle Solaris ZFS 管理指南：https://docs.oracle.com/cd/E19253-01/819-7065/gaztn/index.html
Debian ZFS官方文檔：https://wiki.debian.org/ZFS
ZFS指令：https://groupe-sii.github.io/cheat-sheets/openzfs/index.html
pool的性能分析1：https://www.truenas.com/blog/zfs-pool-performance-1/
pool的性能分析2：https://www.truenas.com/blog/zfs-pool-performance-2/
pool的性能分析3：https://calomel.org/zfs_raid_speed_capacity.html
pool的性能分析4：
https://arstechnica.com/gadgets/2020/05/zfs-versus-raid-eight-ironwolf-disks-two-filesystems-one-winner/

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.124.83 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1665931830.A.DEA.html
※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/16/2022 23:26:03
※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/16/2022 23:29:58
推 sdbb        : 感謝教學
推 andy199113  : 超詳細 推
推 sugoi5566   : 推！
推 tv50046     : 厲害，感謝教學
推 r4duo       : 厲害的嘗試，感謝分享
推 p72910      : 哇靠好詳細
推 ThisIsNotKFC: 推用心分享
感謝版友們的鼓勵，這會成為我下次發文的動力m(_ _)m
推 xleacigma   : 我也是買了一張j4125自己裝omv 好玩XD
OMV需求不高，如果只是要練習的話，拿舊零件裝就夠了~
推 a1379       : 為什麼要拆背板啊
因為我這張板子是二手收來的。
而CPU風扇是用原廠銅底扇。
有背板的話就裝不上去啦!!!
推 Taichun318  : 推
謝謝 :)
推 bababababa  : 詳細給推，想問礦盤去哪收的…
淘寶。至於是哪間店家，之前在本版有版友分享過關鍵字~
不過前陣子再看時，記得已經漲價了。
※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:22:44
※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:24:08
※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:28:10
推 allenninja  : 一個月前也買兩顆礦盤當備份用，結果問了一堆店家
→ allenninja  : 都不出台灣，最後才問到一家OK的
本來再寫這篇文章前，我想先寫從淘寶買硬碟的過程記錄的~
不過因為種種因素，才先寫了這篇。
待我思路整理一下，放假再來寫一篇吧~
推 joshua830325: 拔掉顯卡，偷埋笑點捏！
一開始我真的是拔顯卡，然後發現問題。
為了不讓版友重蹈覆測，所以才特地強調~
就怕犯了跟我一樣的錯誤!!
不過如此一來，PCIE插槽會少一個。 很不方便XD
推 ouyang      : 淘寶蠻多拆機零件都還不錯用
→ ouyang      : 像是拆機的 INTEL X540-T2 雙電口網卡
→ ouyang      : LSI SAS 2038直通卡(可以提供 兩個SAS 或8個SATA6G
→ ouyang      : 這些伺服器拆機的品相都不錯 拿來自組NAS很好用
→ ouyang      : 浪潮的拆機卡就不要買了 便宜但是相容性很差
推 ouyang      : LSI 2038這張卡 微星B660M BIOS直接可以認卡
→ ouyang      : 相容性很不錯
推 kinggo      : 我是直接買一台dell 720XD，有12bay,缺點是有點耗電
你說的是不是LSI 2308?
若非我的卡買得早，現在應該也是用2308。
不過世代在更新，現在建議買3xxx系列了~
另外若非空間因素，我也想買台伺服器來玩玩。
只是拿舊零件組新機，越組越多台。
這空間似乎都能上機櫃了XD
推 chang0206   : 樓上你那不是「有點」耗電而已吧....
推 Litfal      : 有點是多少點
雙路CPU+雙冗餘電源，就算不含硬碟，應該也輕鬆破兩百瓦吧?
推 tennyleaz   : End of line拼錯字了XD
字打多了沒注意到，感謝提醒~
工作中用APP不易編輯，到家用PCMAN修正!!
※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/18/2022 20:59:50
→ concord     : Vader: You have reached your destination.
→ concord     : Dell 720 就是上機櫃了啊...
This is just the beginning...
我的意思是說，一開始受限空間沒上機櫃。
但後面越組越多台，所佔的空間都可以擺機櫃了~
※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/18/2022 21:04:17
推 ouyang      : LSI 2308 跟3008 價差不小耶
的確，如果不是急需的話，一樣可以繼續用2系列。
但相較之下，不但ESXI已經放棄對於2系列的支援。
而且3系列對於SSD的Trim也能正常使用。
在如今SSD快比HDD便宜的情況下，後面會使用到的機會想必會越來越大。
所以身為一個垃圾佬，就是等便宜的3系卡出來後，再入手做替換~
※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 06:34:24
推 kinggo      : 大概是每兩個月電費多一千塊左右，哈哈
→ kinggo      : 原本也是用FREENAS，不過ZFS擴充太麻煩了，後來就轉
→ kinggo      : 用OMV，反正我只是單純的需要大空間，沒其他應用
推 kinggo      : https://i.imgur.com/0oLp5Oo.jpg SSD傳檔NAS 10G
感謝分享心得，這正是我希望能夠與版友討論的~
ZFS的擴充的確麻煩，最好是在一開始就決定好容量免得後面再頭疼。
另外我看你的10G傳檔速度似乎未滿速?
是因為RAID的關係? 還是網卡的因素? 又或是軟體沒調教好呢?
※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 19:54:37
→ ktan        : 再來可以考慮用proxmox ve,掛機的閒置用途更廣
之前就有玩過ESXI跟PVE了喔!!
雖然與高手相比並未深入，但大概知道怎麼入門。
本來是想玩UNRAID的，不過因為這塊主板挪來裝OMV。
計畫只得暫緩啦~~
※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 20:09:43
推 kinggo      : 如果沒意外應該是卡在raid5速度的瓶頸
感謝回報~ 雖說我也是因為需要大容量才組OMV的。
不過要是10G沒跑滿，奇摩子也會感到不爽快XD
待我後面網卡到的時候，我再來測試速度~
※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 22:56:20
推 rollr       : 對這個有興趣，請繼續發文 XD
看到文章能引起版友的興趣，著實高興～
還在思考後面要寫TureNAS的重組記錄，
還是jellyfin/docker的應用。
希望屆時能一同來聊聊 :)
推 wwweagle    : 礦盤我買的時候已經990了，你是一次打包12顆嗎？
我分兩批買的，一次10顆。
本週假日有空時，應該會PO個購買流程及硬碟的記錄。
※ 編輯: SmithYANG (101.12.27.25 臺灣), 10/20/2022 08:36:45
※ 編輯: SmithYANG (101.12.27.25 臺灣), 10/20/2022 08:37:58
推 wwweagle    : 我才買3顆16TB就覺得很冒險了~想看你的分享！
我也是冒險賭一把，下單時心裡也七上八下的~
慶幸被我賭對，否則就虧大了!!
推 kinggo      : 我各買3顆https://i.imgur.com/tLqJqNV.png
不知道你使用上的體驗如何呢?
※ 編輯: SmithYANG (36.225.89.209 臺灣), 10/21/2022 06:02:32
推 bababababa  : 我也想買礦盤，期待心得..
已PO心得文嘍~
※ 編輯: SmithYANG (36.225.89.209 臺灣), 10/23/2022 23:12:08
推 hurober     : 推心得
感謝支持~
※ 編輯: SmithYANG (36.225.112.52 臺灣), 10/29/2022 22:37:52