Re: [心得] 2024 年組十年前的 ITX 機殼是什麼體驗

part 2 來了

這台主機前後花了半年才完成完全體

這個機殼不裝硬碟上去怎麼能看呢？

https://i.imgur.com/mt4aP45.jpeg

https://i.imgur.com/1oRi8yO.jpeg

但是插滿需要五個 SATA 孔，主機板只有兩個，需要擴充卡

我甚至還有一張 10G 網卡，但是唯一的 PCIe 插槽拿去插顯卡了

怎麼辦呢？當然是從 M.2 上動腦筋啦

https://i.imgur.com/cxMPVWy.jpeg

https://i.imgur.com/qJoveNo.jpeg
https://i.imgur.com/jgq8Ght.jpeg
https://i.imgur.com/WctUohz.jpeg

一個 A+E key 來自無線網卡，拔掉改插 SATA 擴充卡

晶片選用 ASM1064，為 PCIe Gen3 x1 to SATA x4 控制器

我特別選擇 Mini SAS 接頭的 M.2 擴充卡

僅需一接頭即可轉出四個 SATA 接頭，減少佈線空間

並透過 M.2 A+E key 轉 M key 延長線轉接

由於此主機板 A+E key 僅能提供一個 PCIe Gen3 通道

計算後接三顆傳統硬碟效能不會成為瓶頸，況且主控晶片也只能 x1

若是接 SATA SSD 就不夠用了

線材除了 SFF-8087 to SATAx4 外，還有兩條接主機板的 SATA 線

都是已經用好幾年的安費諾無鐵扣 L 頭，這次也淘了幾條新的回來

拔插不需按壓鐵扣，在狹小機身內更易於安裝，並且不傷硬碟接頭

安費諾線材品質有保證，而且卡扣夠緊不會鬆脫

不過那條 SFF-8087 的就有鐵扣了

另一個 M key 來自主機板背面，插 Intel X550-T2

X550-T2 為 PCIe Gen3 x4 雙埠 10 GbE RJ45 網卡

剛好填滿主機板背面的 M.2 Gen3 x4 並透過延長線轉接

但放的位置就很尷尬，最後僅剩顯卡後方空間有位子

放在這裡有兩個問題：

1. 網路線轉接

手壓一條延長線解決

https://i.imgur.com/TmSYngT.jpeg

2. 散熱

X550-T2 本身發熱量就不低，以目前配置若僅靠被動散熱會當機

最後加了一顆風扇解決，剛好拿之前多的 A9x14 用束帶綁一綁

https://i.imgur.com/c4Lbmq0.jpeg

談到風扇，由於電源壓在主機板上方，有明顯的搶風道問題

https://i.imgur.com/raYeTNF.jpeg

後來將風扇反過來裝後待機溫度降了三、四度 (上圖還沒反過來)

除了加裝的零件外，小機殼必備客製電源線當然也有上

https://i.imgur.com/dUPMTk6.jpeg

但 372 把我的硬碟電源線做錯了...

https://i.imgur.com/pAYFUuN.jpeg

應該有三個大 4P 一個 SATA 電源線的，結果全部做成 SATA 電源

而且接頭間距也是錯的，其中一條應是 58mm 結果只有 50mm

聯絡客服後他們會再寄新的給我

還好在找 372 前，我有先找台灣某知...名...店家幫我做一組

沒錯就是鄉民想的那家，因為當時嫌上淘寶訂很麻煩

不過我對選用的線有點後悔，加上 ATX 線長度稍嫌不足，才又訂了一組

但就結論而言，上淘寶訂真的很麻煩 XD

知名店家的收費貴但至少規格沒搞錯，就是接頭狗幹難插

不過價格差了快五倍，不嫌出賣個資跟轉運麻煩的話... 嗯

淘寶跟著訂的還有一個有 2.5G 網孔的 USB-C Hub

這是買給 MacBook 用的，為了外接第二個螢幕及有線網路

https://i.imgur.com/gqoduUX.jpeg

https://i.imgur.com/58T67zW.jpeg
https://i.imgur.com/Min4OHX.jpeg

很划算，價格大約一千出頭，就能以 2.5G 高速存取 NAS

至於 Mac 用的 Thunderbolt 10G 網卡還太貴，我先用 2.5G 就好

而舊的 USB-C Hub 甚至可以轉給這台 ITX 主機使用，後面會講到

附帶一提 QxxP 的 TB3 10G 網卡請接 SFP DAC 線使用

接 SFP to RJ45 會過熱，傳一傳會死給你看

硬碟則是以成本考量為主，買重新認證與伺服器拆機碟

透過 RAID 與異地備份保護

當然還是有幾顆全新台灣有保的硬碟，例如這顆 WD 金標 (基本等同 HC550)

https://i.imgur.com/iZSrW7J.jpeg

因為少一排螺絲裝不上硬碟架，最後把導軌中間凸點剪掉磨掉硬上

其實聯力的硬碟架都是共用的

我也可以拿另一台 PC-K9X 的螺絲來裝，就不用對導軌動手

我有跟聯力訂購新的硬碟螺絲，

畢竟舊的都銹的差不多了，順便連 K9X 的黑色螺絲一起買

大推聯力現在還能買到十年老殼配件

硬體的部分就談到這邊，接下來談談軟體

其實一開始就準備好上 PVE 了，裝上 TrueNAS Scale 與 Windows

中間各種坑與雷，真的印證 Linux is free if you don't value your time

不過我就喜歡搞事！

這兩個主要 guest VM 都有 PCIe passthrough 進去

TrueNAS 放了兩個 SATA 控制器 (AMD SATA + ASM1064)

Windows 放了顯卡與一個 USB root hub device

除了顯卡直通 Windows 得以打遊戲外，直通 USB root 好處是

USB 裝置插上對的孔可以直接被 Windows 識別，不需經 PVE 轉譯

上面提到舊的 USB-C hub 就是為了讓 Windows 使用，

所有接到這個 hub 的鍵盤滑鼠讀卡機以及音源孔都是直通 Windows

若沒有將 USB root 直通給虛擬機，

那麼每次插新的 USB 裝置都需要到 host 設定裡新增，非常麻煩

因此這個配置用起來有如原生 Windows 主機，除了不能打楓之谷外

附帶一提我的螢幕有 KVM，可以快速切換 MacBook 跟 Windows 主機

TrueNAS 直通 SATA 控制器則很好理解，可以直接存取硬碟

五顆硬碟使用 ZRAID2 提供兩顆冗餘

並以 SMB 分享給 Windows 與另一台 Linux VM，以及 MacBook

只是... ZFS 非常吃記憶體，Windows 更不用說

32G 在這個情境下捉襟見肘，於是就不小心撿到...

https://i.imgur.com/u65EM7A.jpeg

64G兩台主要 VM 各分 16G，剩下還可以再分幾台機器用，終於夠用了

然而這半年來除了等零件慢慢組起來外

系統也不穩定，曾經遇過 Windows VM 開機用幾分鐘就整台當掉

或是開機發現網路死去，PCIe 無法直通虛擬機

後來慢慢除錯後發現主要是幾個問題：

1. 網卡過熱

跑個幾天後就會帶 switch 一起下去，拔掉網路線則恢復正常

加風扇解決

2. 記憶體不穩

這是後來幫別人修電腦時發現的，memtest86+ 不通過

結果他的記憶體沒事，反倒是我的有問題

只要跑 DDR5-6000 就會失敗，4800 則正常

壞掉的是威剛的 16Gx2，幸好後來買的金士頓 32Gx2 正常

威剛的甚至送修沒貨可以快換，等了快兩個禮拜才拿到

3. BIOS 設定

a. Resizable BAR 不能開，否則 Windows VM 會遇到顯卡 error 43

b. SR-IOV 相關功能要開，否則 USB root hub 與 SATA 控制器不能直通
並且會造成網卡開機被停用

SR-IOV => Enabled
PCIe ARI Support => Enabled
IOMMU => Enabled

c. 內顯留給 PVE host 做 debug 用

所以要強制啟用內顯，並分配最少的記憶體給內顯使用

iGPU Configuration => UMA_SPECIFIED
Integrated Graphics Controller => Customize
UMA Frame buffer Size => 64M

除了 VM 的問題，host 系統抓不到 HW monitor 也是個問題

跑 sensors-detect 沒有就是沒有，只有 k10temp (CPU 溫度) 可以看

華擎當然沒有提供 Linux 驅動程式，只能自行解決

查主機板說明書，有提供 block diagram，可以看到

提供監控功能的 super I/O 是 NCT6686D

用這個型號去查，發現 kernel in-tree 就有一個 nct6683 驅動可以用

但如果可以用就應該抓的到，手動 modprobe 結果是... 不行

下了 force=1 是可以抓到，但電壓全都是錯的，PWM 看的到轉速控不了

後來找到一個 out-of-tree 驅動 nct6687 可以控 PWM 風扇轉速

但是電壓也還是錯的，甚至沒有讀完全部的電壓與溫度

最後還是要靠自己修，花了整個周末惡補相關知識

把上面提到兩個驅動整在一起，弄出一個縫合怪

瘋狂 google 查 V/Temp IN 定義，把電壓與溫度對應表補上

終於把該弄上去的都弄上去了，並且可以控 PWM

https://i.imgur.com/oyX1KN3.png

k10temp 是 AMD CPU

nvme 是 WD SN850X，系統碟

amdgpu 其實是內顯，獨顯已直通，不會顯示在這裡

nct6686 即主機板 super I/O，華擎請給我錢 (X

現在搞到這邊，就缺 372 補線給我

其他系統問題都解的差不多了，剩下把各種服務裝上去而已

--

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.245.37 (臺灣)