[心得] 自組家用 Server / 虛擬化 NAS
前情提要: #1WCn4E7C (PC_Shopping)
因為家人好久以前買的NAS差不多滿了 + 效能太差
決定來自組一台 主要用途是放照片 & 很多 BD 轉檔出來的影片
為了穩定性要上 ECC 記憶體 原本考慮 i3-9100 + C246 主機板
但訂貨不知道要等多久
i3-9100 當NAS過頭 做其他用途又不太夠力
做了點測試後發現目前的日用主機 (Ryzen 3900X + TUF X570 Plus) 支援ECC沒問題
就打算把所有東西都虛擬化了
新增零組件:
1. ECC 記憶體 Kingston KSM26ED8/16ME 16GB x4
QVL上的唯一一組有標ECC的 RAM
原本打算求穩跑預設2666就好 但後來發現這個東西
https://i.imgur.com/dTEZAOO.png
不知道是美光不產8Gb的 2666 E-die了還是別的原因
直接用3200等級的顆粒取代
拿到的記憶體上也確認顆粒是 D9WFL (1.2V 3200MHz等級)
所以就設定成JEDEC 3200Mhz了 (華碩BIOS還偷加電壓到1.35 要手動回1.2)
跑了8輪的 memtest86 沒有問題 ECC 功能也正常啟動
2. CPU塔散 (風魔二)
原本直接用原廠散熱器,不超其實夠用
但因為能裝多硬碟的機殼相對風流比較差
也不希望CPU熱氣吹去硬碟那邊 就上了塔散
3. Intel I350-T4 網卡
我打算連路由器一起虛擬化 所以多買了一張Dell Server拆機卡
取代掉主機板的Realtek網卡 (那張設固定IP當作管理界面用)
這張卡很多假貨 我自己覺得比起買所謂的"新品" 不如買拆機卡
4. WD HC320 8TB x 4
四顆組 RAIDz2
剛拿到會是512e格式 可以用WD的 "hugo" 工具轉換成4Kn
hugo format -b 4096 --fastformat
工具可以跟原廠客服要 或是搜一下也有人放連結出來
轉換完後會看到 Pyhsical / Logical block size 都是 4096
5. 機殼 FD R5
這邊就要感謝鄉民了,這咖是原廠不良品RMA沒有收回的
他直接讓我搬來自己修 搞定又能用了(!)
能裝8顆3.5吋 HDD 雖然沒有熱插拔但硬碟方向拆裝很方便
又安靜 搭配14CM風扇散熱也還不錯
算是組家用Server的好選擇
6. Arctic P14 PWM CO 風扇 x3
前二後一 因為基本上不會關機就直接上了雙滾珠的CO版本
風壓扇可以有效把氣流吹過硬碟架
(也有人會拿 F 版本風量扇裝背版 但我查起來 P 版好像是新的馬達乾脆直上)
要稍微調整一下排風扇的轉速 低速狀況要比前風扇低 不然會負壓變吸塵器
7. CyberPower CP1000PFCLCD UPS
一堆硬碟還是裝台UPS比較安心,用 COM Port 接到電腦
配合PowerPanel程式 停電過60秒後就會自動關閉所有虛擬機後關機
系統部份:
底層用 Proxmox VE 當 Hypervisor
上面跑幾台VM
- TrueNAS 直接Passthrough 主機板的 SATA controller
可以直接控制硬碟 符合ZFS的需求
- vyos 軟體路由器 Passthrough intel 網卡
網路線從中華GPON機拉出來直接接過來撥PPPoE
再用第二個Port當成LAN接給AP和Switch給其他設備
- 日用機 Linux 日用機,Passthrough一張 RX570
以及主機板的所有 USB Controller
還有一塊 NVMe SSD當系統碟
其他還有給朋友玩的 Minecraft server / Handbrake 轉檔機
jellyfin 等等 和 NAS 比較無關就不提了
網路設定:
自組 NAS 很多人都會裝 10G 網卡 才不會卡在 1Gbps 頻寬
網卡可以撿拆機貨 但交換器就很貴 線材什麼的也都會增加成本
全部虛擬化的優點就是不用煩惱這個 直接建一條 Bridge network
MTU 開到 9000 當作虛擬機之間的高速通道
https://i.imgur.com/A4PIaxO.png
直接有 30G 的內部連線 不管是轉檔VM還是日用機都走這條
另外再建一個bridge介面 負責對外的網路連線
要從外網連回來的話為了安全起見用 WireGuard 當 VPN
連上才能存取NAS和VM (剩下開放的 Port 就是SSH 只允許pubkey登入)
整個建好後測試讀寫效能 4顆RAIDz2寫入可以到400MB/s左右
但讀取目前好像有OpenZFS的issue( https://github.com/openzfs/zfs/issues/9375 )
我自己測試只有 250-300MB/s 但對於影音檔來說很夠用了
想了想還是保留RAIDz2 沒有改用striped mirrors
硬碟溫度也都在40度以下
也還有四顆硬碟的擴充性 比起市售NAS划算很多
但建議沒有相關經驗的話要認真考慮XD 過程中遇到問題不少
想辦法解決的人力也是成本 (還不一定解的掉)
--
推
推~
你的備份裝置用了什麼不寫一下?
照片類的這邊一份 Google相簿一份 離線外接硬碟一份 舊NAS一份 BDrip的影片資料不特別備份 反正原片都封存 真的出事大不了全部重壓 想說備份算是另外一個議題了 就沒有一起放進去~
正 3200 燒不過,打下來當 2666賣,又或者是2666沒料
拿3200 原生顆粒來頂,也不是什麼太意外的事情吧
要是後者就是撿到100% ,前者好歹只是heavy loading
沒過官方要求而已,還是可以跑跑
敢這樣用除了上面那份資料以外還有兩個原因 1.
https://media.kingston.com/pcn/PCN_KSM26ED8_16ME_P.pdf"Phase out due to supplier DRAM density transition." 這款的後繼產品是用 "16Gb" 顆粒 => 舊顆粒要慢慢停產了 先用新的墊著 2. 除了 memtest以外還有用 mprime(P95) 燒了兩三晚的記憶體壓力測試 都沒出現問題 (ECC也回報沒有發生後被糾正的錯誤) 不然ZFS這麼吃RAM的東西其實不應該這樣搞的XD
推 請問日用機是用什麼協定掛 storage?
目前都是開 NFS (都是家人用不太需要管權限) 不然我覺得 SMB 會好管理一點
謝謝
+1這幾年也從ESXi換到PVE
請問從 ESXi 換到 PVE 的動機是?
強者推
推 一直覺得現在硬體效能過剩了,除非要長期跑運算
,不然閒置時間其實很長,用虛擬化就能善用這些資
源
推
推 最近想搞但第一次碰pve好像有點小難,不知道有
沒有推薦的學習資源
PVE我問題解法幾乎都是官方文件找來的 如果是教學可以翻翻Youtube
看不懂給推
推
我的PVE Bridge也是這樣用 不過跑起來只有2XGb
這個速度很吃CPU資源 我跑滿30G的時候3900X的佔用率會衝到10-20%
金搞剛給推XD
真的XD
推 自己也用i5 4代 架pve跑omv+openwrt+plex omv再
跑docker架aria2+openvpn+homeassistant 爽爽用中
可惜i家把 ECC 鎖了 不然其實原本想拿類似的CPU來組的
※ 編輯: HMKRL (140.116.245.242 臺灣), 03/24/2021 19:05:31好屌,我光用pi做個簡易NAS都懶..
推
好奇問一下那個bridge怎麼做的?可以衝到30G頻寬?
在PVE上建一個Linux Bridge 指定一個網路範圍
不要綁任何Port 然後把想要連上的虛擬機或LXC各自
添加一個網路介面到這個bridge並指定一個IP即可
資源利用的有點威猛 不只省錢還圖了方便
推專業分享!
感謝Esvent解釋 有機會來試試看 謝謝
推 我想知道待機功耗大該多少?
暫時沒機會看到待機XD 正在從舊NAS拉資料 UPS回報12
0W 待機我猜應該100上下吧
感謝!
推
推
推 我用PVE上面架OpnSense和Xpenology
強者推 順便收藏以後參考
推
雖然看不懂還是推
推
推
24
Re: [閒聊] ECC記憶體究竟有多大用?NAS真的需要ECC: : 最近出包老是同一地址,而且是 scrub 時抓到的 : 代表不是大量計算時發生,是閒閒沒事幹時抓到的 : : 是這條有 defect 嗎? 還是我被駭了,有人在玩 rowhammer ?30
[心得] ECC和非ECC記憶體架Server以下要說的純屬個人經驗,並沒有經過比較明確的驗證或測試,也可能單純只是個案 故僅供參考 我自己本身有架Server 主網頁伺服器(IIS+PHP+MySQL) 偶爾跑些程式、Docker或Minecraft Server之類 原本使用E3-1231v3+ECC記憶體(C224晶片組)15
[心得] AMD 平台與 ECC 記憶體一直想要換上 ecc 記憶體 但是懶,又不想花錢所以就一直拖 最近剛好需要組一台獨立的測試機 (不能用VM代替) 就決定利用此機會拆東牆補西牆式地升級 ecc 很可惜的現役 Gigabyte 主板不支援 ecc (後悔沒買共碩或華擎)14
Re: [閒聊] ECC記憶體究竟有多大用?NAS真的需要ECCecc 倒底有沒有用還真的很難說 最近出包老是同一地址,而且是 scrub 時抓到的 代表不是大量計算時發生,是閒閒沒事幹時抓到的 是這條有 defect 嗎? 還是我被駭了,有人在玩 rowhammer ?10
[菜單] 50K 遊戲機 同時多開瀏覽器 兼任NAS已買/未買/已付訂金(元):未買 預算/用途:50K 玩黑色沙漠(FHD 中低畫質) 查資料會開幾十個瀏覽器分頁 未來轉任NAS 會灌雙系統,windows跑黑沙,在linux做其他工作,兩邊都可能多開瀏覽器。9
[閒聊] ECC記憶體究竟有多大用?NAS真的需要ECC原標題: ECC內存究竟有多大用?NAS真的需要ECC內存嗎?實測數據告訴你 重點7
[心得] 金士頓16G/ECC記憶體(KSM26ED8/16ME)超頻前一陣子舊電腦出問題,所以組了台新的 新電腦想換N卡,為了能繼續用FM,所以處理器決定用AMD的APU 然後我看了一下記憶體價格,發現同容量ECC沒比non-ECC的貴多少 CPU跟我想組的主板也支援,重點顆粒是聽說很好超的美光E-die 儘管也有現成3200MHz海力士顆粒的版本,當初還是買了這條2666MHz的來玩5
[請益] ASUS TUF X570PLUS-WiFi是否支援ECC RAM?今天去店裡面開實驗室要用的模擬電腦估價單, CPU預計是3950X, 原本是打算拿最便宜有wifi的X570板子 所以就挑了TUF GAMING X570-PLUS WiFi 記憶體打算裝四條金士頓的32G ECC RAM5
[請益] ZEN主機板能用的UDIMM-ECC-DDR4-3200目前要組一台高算力的電腦當小工作站 (3人左右用) 主要是eda和gcc編譯的使用 系統會架linux 依照我前面幾台組的經驗