PTT評價

[心得] 自組OMV6的流水式記錄(文長、圖多注意!!

看板Storage_Zone標題[心得] 自組OMV6的流水式記錄(文長、圖多注意!!作者
SmithYANG
()
時間推噓29 推:29 噓:0 →:11

※2022/10/17 新增失敗實驗的記錄。


前言:
由於TureNAS空間的告急及硬碟一直在報錯,
所以組裝新NAS的任務刻不容緩!!(其實就是手癢想折騰XD)
這篇文章算是記錄我折騰OMV時的過程及遇到BUG的除錯,
以及後面共享資料夾的設定與些許的心得。
一樣流水式的記錄。
圖多、文長、拍照技術也不算好。
更別提相關知識非專業,完全是爬文學習解決的辦法。
如果有更好的建議或想法,歡迎版友們提出討論~
(以下圖多,自動開圖還請注意流量)



先說整套零件:
CPU:E3-1220L v3
主機板:supermicro C7Z97-OCE
記憶體:創建 DDR3 1333 4G 四根共16G
顯示卡:AMD HD8570 1G (亮機用)
網路卡:82576-T2 2Port 1G網卡
HBA卡:技嘉 GC-MSLZ2(IT omde)
硬碟:WD HC550 16TB 12顆(礦盤)
機殼:X-PRO SMART 9大機殼
硬碟抽取盒:ICY DOCK 黑旋風MB074SP-B 三轉四 3組
電源供應器:微星 MPG A650GF
系統碟:創見及三星 64G msata 轉2.5吋SSD
預定:Mellanox ConnectX-3 2Port 10G網卡

關於這張主機板,原先是想拿來組UNRAID搭OPNSense用途的。
不過因為急迫性(手癢),只好先拿來組OMV了...

但是拿到手後發現的第一個狀況...
https://imgur.com/GbBT97U
這張板子的背板強化支架整個黏死了!!

最後用吹風機以及在大力出奇蹟之下,好不容易才將其給撥下來...
https://imgur.com/5AEtbVw

之後上U
https://imgur.com/m02bRaC

顯示卡
https://imgur.com/1jGThYj

網路卡
https://imgur.com/GiAhCz0

驗明正身
https://imgur.com/2klvTN7

裸機先組裝起來測試
https://imgur.com/8QXlqjM

順利進入BIOS
https://imgur.com/N5Lppfk

兩塊系統碟
https://imgur.com/uUxpk5w

裝入機殼
※請無視靈魂走線法,反正側版蓋上就看不到了~XD
https://imgur.com/kU84VdX

確認HBA卡可以抓到驅動
https://imgur.com/7Zgyj1g

確認兩塊系統碟都可以抓到
https://imgur.com/6ZYoPk4

到官方網站下載ISO並製作安裝碟
https://www.openmediavault.org/

再次進到BIOS
https://imgur.com/nefHjSj

調整開機順序
https://imgur.com/TMoPFwV

開始安裝
※安裝過程全程中文化~
https://imgur.com/vNWYHiG

主機板雙網口及加裝的網路卡可以順利加載驅動
https://imgur.com/qRDu7dk

主機名稱簡單取
https://imgur.com/UEc2Q1l

硬碟分割
https://imgur.com/2iB6mfj

使用三星那塊
※原先我以為OMV可以像TureNAS一樣,將系統做成RAID1。
沒想到只能擇一使用...。後面將另外想法子解決!!
https://imgur.com/0uGxAQ2

鏡像來源選擇交大的伺服器
https://imgur.com/54f5Try

安裝完成後重新啟動,移除安裝碟並將系統碟設為Boot
https://imgur.com/xQHVtxM

當看到這個畫面時,代表順利進入系統。可以拔掉螢幕線換另一台電腦操作~
https://imgur.com/9jToKwp
※注意!! 是拔掉螢幕線,不是拔掉顯示卡。如果拔掉顯示卡會無法開機!!
一開始我以為是哪裡沒設定好,後來爬文才看到有人有類似的狀況。
討論1:
https://forum.openmediavault.org/index.php?thread/33850-disable-gpu-completely/討論2:
https://www.reddit.com/r/homelab/comments/6pkvwh/why_does_freenas_work_perfectly_fine_headlessno/
討論3:
https://unix.stackexchange.com/questions/595486/grub-not-booting-debian-without-gpu-attached


先到DHCP伺服器查看OMV主機被配發的IP
https://imgur.com/8Et8gV1

接著開啟瀏覽器並輸入網址就可以連上OMV了~
要注意的是,在這裡的帳號及密碼分別是admin/openmediavault,
而非在安裝過程中設定的root密碼。
https://imgur.com/Tmia7cE
※如果帳密正確仍無法登入,可SSH連線進主機更改密碼。
解決辦法:https://forum.openmediavault.org/index.php?thread/5934-omv-firstaid-usage/

一開始的主畫面,比起OMV5好看多了~(我也是因為看到改變才手癢的XD)
https://imgur.com/lwgYPUO

第一件事情就是點選右上角齒輪更改登入密碼
https://imgur.com/VbfV1hK

接下來要更換內核,好讓OMV可以使用ZFS Plugin
https://imgur.com/YIi4rQQ

使用putty連上OMV
https://imgur.com/LkVGafM

此時的帳號是root,密碼就是在安裝系統中設定的那組
https://imgur.com/oXiGGym

接下來安裝 OMV-Extras Plugin,算是個增強版的Plugin。
輸入「wget -O -
https://github.com/OpenMediaVault-Plugin-Developers/packages/raw/master/install| bash」
※這是OMV6唯一能夠使用的辦法。
來源網址:
https://forum.openmediavault.org/index.php?thread/5549-omv-extras-org-plugin/

待跑完安裝,底下游標回到root時。返回瀏覽器並且重新整理
https://imgur.com/jsaSKT2

此時可以看到左邊欄位出現OMV-Extras Plugin了
https://imgur.com/cWgTatq

接著點進裡面的設定,將向後移植給取消並保存設定。
https://imgur.com/Gc8HZ12
※除了右邊的儲存外,右上角的勾也要點選,設定才會生效。OMV所有的設定都要確認兩次...
向後移植之所以要取消的討論:
https://forum.openmediavault.org/index.php?thread/41600-zfs-plugin-install-fails-on-fresh-omv6-and-how-to-fix-it/

由於OMV所使用的是Debian內核,無法使用ZFS Plugin。必須替換成proxmox的才行。
所以點選左邊的插件,並且在右邊的搜索欄中搜尋「kernel」
選擇第一個選項後,點擊上面的下載箭頭。
https://imgur.com/278CwAy

出現END OF LINE後即可關閉畫面
https://imgur.com/NHZeWN6

重新整理瀏覽器後,就可以在左邊看到系統核心。
不過此時還是使用Debian內核。
https://imgur.com/Yhjy1v7

點選下載按鈕,我是選擇5.15版本
https://imgur.com/Bf7KL6R

不過系統似乎會升級到最新5.19版本?
https://imgur.com/NYOH686

完成後重新開機,就可以看到內核已經替換成proxmox的了
https://imgur.com/F64yBMm

為了以防萬一,刪除Debian內核。只留下proxmox的。
https://imgur.com/3dVnzyb
※原作者所說:
https://forum.openmediavault.org/index.php?thread/41983-omv-6-error-when-installing-openmediavault-zfs-6-0-5/

接下來回到插件,搜尋「ZFS」並安裝
https://imgur.com/EwNgY0i

一樣出現END OF LINE後關閉畫面並重新整理瀏覽器
https://imgur.com/d3jvZVF

就可以在左邊的儲存裝置中看到ZFS了
https://imgur.com/9BIjiqk

此時該安裝的都裝好了,把所有插件都更新一下
https://imgur.com/1NGq0Ak
※如果在更換內核後才更新,有時會遇到error。重新整理瀏覽器就好。

更新後,右上角的齒輪中多了Dark mode
https://imgur.com/6usf1sF

接下來到儲存裝置->磁碟中,記錄硬碟的位置及序號
例如:sda/序號1、sdb/序號2、sdc/序號3...以此類推。
https://imgur.com/bPlzaRz
※在OMV中使用ZFS Plugin只能建立pool,無法建立vdev。
後面要使用指令來操作,所以先記錄起來備用。

此時如果要建立pool,會看不到硬碟
https://imgur.com/McD15wz
※唯一的那顆,就是創見的msata

所以要回到儲存裝置-磁碟,
點選硬碟後,在點擊上面橡皮擦圖案清除硬碟的分區。
https://imgur.com/mQaXj8d
※由於這個動作沒辦法多選,12顆硬碟就要重複12次...

選擇快速抹除
https://imgur.com/bZBmnmM

老樣子,關閉
https://imgur.com/x5R21Yc

此時操作中就可以看到硬碟了
https://imgur.com/tVWc3fe

如果只是想單純建立pool,現在就可以操作
https://imgur.com/9m3Ndgd

選擇要的類型
https://imgur.com/SyfVJ4m

但是只能新增pool,還是沒有vdev
https://imgur.com/9JKbqmM

由於12顆硬碟位於3個抽取盒中,
所以我打算每4顆建立raidz,之後在組成stripe。
用序號確認好各抽取盒中硬碟的路徑(sda、sdb、sdc...),用putty輸入指令。
https://imgur.com/LrKUVm0

https://imgur.com/DfQZBqv

pool建立完成
https://imgur.com/S7c7OFZ

==========================================================================
※以下為不透過指令,而用ZFS Plugun建立pool的失敗實驗
※為避免中翻英的錯誤,將介面調整為英文。

首先先查看上面建立的pool的訊息並且刪除它
https://imgur.com/Gw1fnt4

現在ZFS-pool為空
https://imgur.com/zB6lyjT

一樣抹除硬碟
https://imgur.com/wZRKWCl

接著建立pool
https://imgur.com/IUSQSek

按照我的規劃,使用四顆硬碟建立一組RAID-Z1
https://imgur.com/V0L21r9

https://imgur.com/Kbf7iO2

pool建立完成,並點選右上角更新
https://imgur.com/lVugNty

此時透過命令,可以確認這四顆建立完成
https://imgur.com/nerNUxz

這時候選擇Expand pool
https://imgur.com/MgcLTFe

再選擇四顆硬碟
https://imgur.com/R8JtY5f

就會發現只有一顆硬碟
https://imgur.com/0lmxNRq

若是選擇SAVE
https://imgur.com/JO5NwXM

就會出現錯誤警告
https://imgur.com/m8FLOm2

此時用命令查看,會發現還是只有原先建立的pool
https://imgur.com/g6ehjs1

在論壇中也有人遇到此問題,而其他人的回應也是改用CLI建立pool。
相關討論:https://forum.openmediavault.org/index.php?thread/43721-problem-creating-zfs-striped-mirror-4-hdd-omv-6/

當然如果硬碟數較少,只使用一組vdev的話。
透過ZFS Plugin建立就已足夠了~

※以上為個人實驗測試記錄
==========================================================================

接下來建立共享資料夾,名稱就設定為Data。
檔案系統選擇剛才建立的pool。
https://imgur.com/8AfYmuA

儲存後記得右上角的更新
https://imgur.com/YFptsgk

由於OMV沒辦法直接以admin或root直接訪問共享資料夾,所以要新增一個用戶。
https://imgur.com/BghjYyk

名稱、密碼自訂,中間有個群組選擇「users」。
https://imgur.com/yzS5Lfz

儲存、更新。
https://imgur.com/c1NVw1h

在左邊的服務-SMB/CIFS-共享中,新建SMB共享資料夾
https://imgur.com/Jja0CiB

啟用並選擇剛才建立的資料夾(Data)
https://imgur.com/7MPQ6mQ

https://imgur.com/H0HZaX5

最後在設定中記得開啟SMB
https://imgur.com/fBbW4a0

回到我的電腦中,用IP連線。
帳號及密碼就是剛才新建的用戶。
https://imgur.com/30k7xVk

成功!!
https://imgur.com/LokfUUl

掛載成網路磁碟機
https://imgur.com/xCO2cVg

同樣以IP連線並輸入帳號密碼
https://imgur.com/9ChU2b7

成功!!
https://imgur.com/gvLBMxY

測試從桌面丟個檔案進去,速度穩定在1G。
https://imgur.com/0woPLMr
※C槽為WD SN750

此時的系統佔用率
https://imgur.com/AFcClDa

反過來複製到桌面
https://imgur.com/aavTStr

此時的系統佔用率
https://imgur.com/mZEnUCS



心得:
如同文章開頭所說,若非有急需,不然這OMV也不會這麼快組出來。
尤其組裝中所遇到的各種問題,更是邊爬文邊尋找解決的辦法。
10G網卡沒到,也無法測試這樣組pool是否能達到我的理想速度?
之所以用ZFS,除了對諸多功能感到興趣(例如:快照、去重、壓縮...等),
還有就是為了後面重組TureNAS先來練手~
總之這台OMV就在這種情況中誕生了。
至於ZFS中,pool、vdev、ACL等部分。還有如何提升pool的性能等調教方式。
由於尚未理解通透,就不講出來誤導人了!!
就算不用ZFS,OMV也可使用一般的RAID。 相信也夠一般大眾的使用了~
感謝各位看到這裡。


參考資料:
官方文檔:https://docs.openmediavault.org/en/6.x/index.html
官方討論區:https://forum.openmediavault.org/wsc/
Oracle Solaris ZFS 管理指南:https://docs.oracle.com/cd/E19253-01/819-7065/gaztn/index.html
Debian ZFS官方文檔:https://wiki.debian.org/ZFS
ZFS指令:https://groupe-sii.github.io/cheat-sheets/openzfs/index.html
pool的性能分析1:https://www.truenas.com/blog/zfs-pool-performance-1/
pool的性能分析2:https://www.truenas.com/blog/zfs-pool-performance-2/
pool的性能分析3:https://calomel.org/zfs_raid_speed_capacity.html
pool的性能分析4:
https://arstechnica.com/gadgets/2020/05/zfs-versus-raid-eight-ironwolf-disks-two-filesystems-one-winner/

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.124.83 (臺灣)
PTT 網址
※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/16/2022 23:26:03 ※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/16/2022 23:29:58

sdbb 10/16 23:34感謝教學

andy199113 10/16 23:58超詳細 推

sugoi5566 10/17 00:53推!

tv50046 10/17 01:01厲害,感謝教學

r4duo 10/17 10:51厲害的嘗試,感謝分享

p72910 10/17 13:18哇靠好詳細

ThisIsNotKFC10/17 14:38推用心分享

感謝版友們的鼓勵,這會成為我下次發文的動力m(_ _)m

xleacigma 10/17 16:00我也是買了一張j4125自己裝omv 好玩XD

OMV需求不高,如果只是要練習的話,拿舊零件裝就夠了~

a1379 10/17 16:26為什麼要拆背板啊

因為我這張板子是二手收來的。 而CPU風扇是用原廠銅底扇。 有背板的話就裝不上去啦!!!

Taichun318 10/17 20:58

謝謝 :)

bababababa 10/17 21:04詳細給推,想問礦盤去哪收的…

淘寶。至於是哪間店家,之前在本版有版友分享過關鍵字~ 不過前陣子再看時,記得已經漲價了。

※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:22:44 ※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:24:08 ※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:28:10

allenninja 10/18 11:18一個月前也買兩顆礦盤當備份用,結果問了一堆店家

allenninja 10/18 11:18都不出台灣,最後才問到一家OK的

本來再寫這篇文章前,我想先寫從淘寶買硬碟的過程記錄的~ 不過因為種種因素,才先寫了這篇。 待我思路整理一下,放假再來寫一篇吧~

joshua83032510/18 12:51拔掉顯卡,偷埋笑點捏!

一開始我真的是拔顯卡,然後發現問題。 為了不讓版友重蹈覆測,所以才特地強調~ 就怕犯了跟我一樣的錯誤!! 不過如此一來,PCIE插槽會少一個。 很不方便XD

ouyang 10/18 13:54淘寶蠻多拆機零件都還不錯用

ouyang 10/18 13:56像是拆機的 INTEL X540-T2 雙電口網卡

ouyang 10/18 13:58LSI SAS 2038直通卡(可以提供 兩個SAS 或8個SATA6G

ouyang 10/18 13:58這些伺服器拆機的品相都不錯 拿來自組NAS很好用

ouyang 10/18 13:59浪潮的拆機卡就不要買了 便宜但是相容性很差

ouyang 10/18 14:02LSI 2038這張卡 微星B660M BIOS直接可以認卡

ouyang 10/18 14:02相容性很不錯

kinggo 10/18 16:05我是直接買一台dell 720XD,有12bay,缺點是有點耗電

你說的是不是LSI 2308? 若非我的卡買得早,現在應該也是用2308。 不過世代在更新,現在建議買3xxx系列了~ 另外若非空間因素,我也想買台伺服器來玩玩。 只是拿舊零件組新機,越組越多台。 這空間似乎都能上機櫃了XD

chang0206 10/18 16:32樓上你那不是「有點」耗電而已吧....

Litfal 10/18 17:55有點是多少點

雙路CPU+雙冗餘電源,就算不含硬碟,應該也輕鬆破兩百瓦吧?

tennyleaz 10/18 20:04End of line拼錯字了XD

字打多了沒注意到,感謝提醒~ 工作中用APP不易編輯,到家用PCMAN修正!!

※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/18/2022 20:59:50

concord 10/18 20:46Vader: You have reached your destination.

concord 10/18 21:01Dell 720 就是上機櫃了啊...

This is just the beginning... 我的意思是說,一開始受限空間沒上機櫃。 但後面越組越多台,所佔的空間都可以擺機櫃了~

※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/18/2022 21:04:17

ouyang 10/18 23:43LSI 2308 跟3008 價差不小耶

的確,如果不是急需的話,一樣可以繼續用2系列。 但相較之下,不但ESXI已經放棄對於2系列的支援。 而且3系列對於SSD的Trim也能正常使用。 在如今SSD快比HDD便宜的情況下,後面會使用到的機會想必會越來越大。 所以身為一個垃圾佬,就是等便宜的3系卡出來後,再入手做替換~

※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 06:34:24

kinggo 10/19 16:34大概是每兩個月電費多一千塊左右,哈哈

kinggo 10/19 16:39原本也是用FREENAS,不過ZFS擴充太麻煩了,後來就轉

kinggo 10/19 16:51用OMV,反正我只是單純的需要大空間,沒其他應用

kinggo 10/19 17:02https://i.imgur.com/0oLp5Oo.jpg SSD傳檔NAS 10G

感謝分享心得,這正是我希望能夠與版友討論的~ ZFS的擴充的確麻煩,最好是在一開始就決定好容量免得後面再頭疼。 另外我看你的10G傳檔速度似乎未滿速? 是因為RAID的關係? 還是網卡的因素? 又或是軟體沒調教好呢?

※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 19:54:37

ktan 10/19 19:59再來可以考慮用proxmox ve,掛機的閒置用途更廣

之前就有玩過ESXI跟PVE了喔!! 雖然與高手相比並未深入,但大概知道怎麼入門。 本來是想玩UNRAID的,不過因為這塊主板挪來裝OMV。 計畫只得暫緩啦~~

※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 20:09:43

kinggo 10/19 22:37如果沒意外應該是卡在raid5速度的瓶頸

感謝回報~ 雖說我也是因為需要大容量才組OMV的。 不過要是10G沒跑滿,奇摩子也會感到不爽快XD 待我後面網卡到的時候,我再來測試速度~

※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 22:56:20

rollr 10/20 06:55對這個有興趣,請繼續發文 XD

看到文章能引起版友的興趣,著實高興~ 還在思考後面要寫TureNAS的重組記錄, 還是jellyfin/docker的應用。 希望屆時能一同來聊聊 :)

wwweagle 10/20 07:33礦盤我買的時候已經990了,你是一次打包12顆嗎?

我分兩批買的,一次10顆。 本週假日有空時,應該會PO個購買流程及硬碟的記錄。

※ 編輯: SmithYANG (101.12.27.25 臺灣), 10/20/2022 08:36:45 ※ 編輯: SmithYANG (101.12.27.25 臺灣), 10/20/2022 08:37:58

wwweagle 10/20 11:17我才買3顆16TB就覺得很冒險了~想看你的分享!

我也是冒險賭一把,下單時心裡也七上八下的~ 慶幸被我賭對,否則就虧大了!!

kinggo 10/20 12:05我各買3顆https://i.imgur.com/tLqJqNV.png

不知道你使用上的體驗如何呢?

※ 編輯: SmithYANG (36.225.89.209 臺灣), 10/21/2022 06:02:32

bababababa 10/23 16:23我也想買礦盤,期待心得..

已PO心得文嘍~

※ 編輯: SmithYANG (36.225.89.209 臺灣), 10/23/2022 23:12:08

hurober 10/24 10:25推心得

感謝支持~

※ 編輯: SmithYANG (36.225.112.52 臺灣), 10/29/2022 22:37:52