Re: [心得] FreeNAS / TrueNAS 七年之癢(?)

看到了這篇文章剛好來分享一下最近大概半年的折騰經驗，內容有點長的流水帳。

請斟酌觀看，謝謝

一開始沒有要搞自組NAS，自組NAS完全就是自己白癡挖了一個坑給自己

因為工作的需要見大量的VM來模擬客戶的手上環境，並且在佈署上客戶正式機前

能夠多做幾次的驗證，所以購買了一台雙CPU的洋垃圾(18CORE/一顆，共72執行序)

256GB ECC DDR3(本來想打雞血BIOS，但是後來發現瓶頸在硬碟就先擱置)

安裝了ESXI 6.7免費版授權，VM上線後就發現硬碟就是我自己挖的坑，

本來想說買一個10TB的傳統硬碟就夠了。

結果遠遠不夠，開一兩個VM就已經把SATA 6Gb/S塞爆了。

接下來因為沒有預算，

後來在網路上爬到了ISCSI的方式可以用，在既有的QNAP的NAS上開了一個POOL

把ISCSI打開，然後.....抓不到。ESXI怎麼樣都抓不到QNAP的ISCSI的服務

最後發現了ESXI+FREENAS的實際應用範例。

我就開始在庫房裡面翻找

湊了6顆1TB有5400&7200的硬碟、i7-4770K的主機、16GB的記憶體、1顆128GB的SSD

另外領了一個USB3的外接盒跟16GB的隨身碟就開始了我的自建NAS之旅。

把I7-4770K的內建Quadro P600拔起來改內顯(反正只要亮機)

TRUENAS安裝在外接隨身碟(沒辦法，預算評估沒做好只能自己吞)

6個1TB做RAIDZ(好像等同RAID5)勉強有個容錯就行，

為了增加效能就把SSD裝在USB3外接盒，做快取。

照網路文章設定的就抓到ISCSI硬碟空間了，接下來把VM從內建10T轉移到ISCSI中

VM常駐4個目前效能都足夠，至少告一段落了

後來又在庫房翻到E3-1231V3的主機，恰好原本的4BAY的NAS退役。

把2T*4的NAS組上去，原本的I7-4770K上的RAM拆一半給E3用

E3-1231 V3 + 8GB + 亮機卡 + 2T*4 + 16GB隨身碟搞起來變成第二組TRUENAS

準備拿來當正式NAS的第三備份。(4BAY NAS因為主板掛了只好讓他退役)

感覺還是蠻基本的應用，遠遠比不上元PO大大的極限玩法。

分享到此，謝謝大家。

※ 引述《tonysan (旅法師)》之銘言：
: 網誌沒有比較好讀版:
: https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html
: 七年前古文: #1MMGYTuc (Storage_Zone)
: 自從組 FreeNAS 已經過了七年，特別寫一篇 blog 詳述中間各種變化與升級，下面條列: 升級重點，給沒時間細讀的人參考:
: 記憶體加滿 - 128G
: 加了一張 PCIe NVMe 擴充卡
: 把開機 USB 換成 NVMe
: 再多加一張 NVMe 當成 L2ARC
: 硬碟就地升級成 8TB
: 拆外接硬碟，改 SATA 電源接頭
: 用 smartctl 跟 badblocks 壓力測試硬碟
: 陣列重組 (resilvering)
: 升級區網，終於讓主機板上的 10G 網卡解除限制器
: CIFS 效能從 3.5Gbps 提升到 5.45Gbps
: 對細節有興趣的請繼續往下看...
: 在 FreeNAS 上面跑幾個比較肥的 VM，記憶體有多少都不夠用。因此把記憶體加滿這種事: 情在經過大腦思考前，膝蓋都已經下單結帳完了。不過每次重開機，VM 也會跟著一起重: 開，不太方便，後來就把 VM 上跑的東西慢慢移到另外一台機器上跑 docker。
: 古早以前，FreeNAS 開機是放在 USB 上面，但自從 11.1 後，開機碟會有頻繁的讀寫，: 官方建議放在正常的硬碟上。（當然我是直到 USB 碟掛點了才知道這件事情。） 但這張: 主機板已經沒有多餘的插槽裝二個開機碟。
: 還好主機板上還有一個 PCIe x16，我當然也可以裝一張 HBA 擴充卡，或者是這個閃閃發: 光的神奇裝置 (ASUS Hyper M2 擴充卡)，而且正好主機板有支援 PCIe bifurcation，唉，我的膝蓋又下單了...　
: 而且好像可以多插幾張NVMe... 那就順便加個 L2ARC 好了！
: 不過對效能影響最大的升級不在機器本身，當我把區網升級到 2.5G / 10G 後，限制器整: 個解除，六顆 WD Red 4TB 竟然 CIFS 可以維持在 3.5Gbps，整個跌破眼鏡。
: 不久後武漢肺炎（與它的變種們）就爆發了，加州還因為野火太旺，直接進入媽的刀鋒戰: 士，接著供應鏈炸裂，跟不知道哪個天才發明的奇亞幣，讓硬碟價錢跳了好幾階，我的升: 級計畫就暫時被擱置了...
: 直到某一天在附近的溝子口看到特價硬碟，我的膝蓋就拿出信用卡下單了。但這特價硬碟: 需要稍微處理一下才能用，要先從外接盒裡把硬碟拆出來，並且把 SATA 電源接頭第三腳: 用絕緣膠帶貼起來（用 Molex 轉 SATA也可以）
: 接上去確定硬碟都抓到以後，就開始燒機測試（注意，以下的燒機測試會同時燒掉硬碟上: 的資料），用 smartctl 短長各跑一輪，接下來用 badblocks 進行讀寫測試（ -c 用大: 一點會跑稍快），測試完後再跑一次 smartctl long... 這顆 8TB 總共花了 110 小時才: 跑完（建議全部接上去，一口氣壓測）。我另一台機器只有 4 SATA port，只好分二批測: 。
: （測完以後發現有二顆硬碟讀寫稍微快一點（2%），不知是硬碟樂透，還是正常的效能浮: 動。）
: 燒機燒完確定沒有不良品，SMART 數值正常，就可以上線啦！利用 resilver 機制一顆一: 顆慢慢換，每次 10 小時，換到後面越來越快，可能是因為從 5400 轉升級到 7200 轉，: 讓整體效能慢慢增加的原因吧？換完 raid z2 pool 容量就自動升級到 8TB x (6-2)
: 最後 CIFS 實測，cache miss 可以維持在 5.45Gbps，disk busy 大概在 80% 左右，看: 來在區網全面升級成 10Gbps 之前，這台可以再戰個幾年沒有問題。

--