[心得] 從0開始養ROCM深度學習機

趁熱鬧來發廢文
大約ROCM 3的時候就有這個想法可惜一直買不到便宜的Vega來玩，
之前有幸收到版主的二手Vega56終於可以來實做

養機用品：
1. i7 6700K @4.5G + Z170 + 32GB RAM
2. 系統碟建議>128GB SSD不然裝完就沒空間
3. Ubuntu 22.04.3 LTS 安裝隨身碟用rufus做好
4. Vega56不能亡
5. 650W以上電源供應器 + 堪用機殼

全部裝好然後灌系統應該很簡單直接跳過

選擇要裝的ROCM版本，上面只有VII不過都是GCN不要分那麼細應該還是可以用
https://rocm.docs.amd.com/en/docs-5.7.1/release/gpu_os_support.html

最後是裝5.7.1但是懶得重截圖
https://rocm.docs.amd.com/en/docs-5.7.1/deploy/linux/index.html
https://i.imgur.com/LaDETe3.png

eader還要加入兩個群組
https://i.imgur.com/hLmBCR4.png
雖然教學這樣寫在後續測試過後還是退render群組，
深度學習用不到gpu render就不增加顯卡負擔，還是其實可以指定intel內顯我不會而已？

有兩種安裝方法用amdgpu-install安裝看起來好像比較簡單，我偏好是載deb檔案手動安裝https://rocm.docs.amd.com/en/docs-5.7.1/deploy/linux/installer/install.html
https://i.imgur.com/BbdB0Ur.png

安裝ROCM
sudo amdgpu-install --usecase=rocm
要確定安裝成功就輸入rocm-smi應該會出現基本資訊
https://i.imgur.com/TyX6Btf.png

到這邊已經把ROCM搞定，後續用docker環境需要注意啟動指令跟N卡不一樣
docker run -it --device=/dev/kfd --device=/dev/dri --group-add video <container>

不喜歡docker也可以直接找到喜歡的深度學習工具像是最近都在用pytorch就在這邊
https://pytorch.org/get-started/locally/
https://i.imgur.com/ucjBF6D.png

加碼做一下性能比較
雖然測試電腦的配備都不一樣，有確認過CPU瓶頸跟GPU瓶頸在哪裡還是可以加減參考
測試用程式就是最近在處理的東西只跑預測，除了有關GPU的套件之外都相同
資料都已經讀進RAM不會讓硬碟速度拖累

本機 Vega56
理論FP32 10.54 TFLOPS
測試速度 2.85 iter/s
https://i.imgur.com/8B4jGbN.png

https://i.imgur.com/8uNdKwb.png

第一台win10 22H2 i7 7700K @4.6G + 1080Ti
理論FP32 11.34 TFLOPS
測試速度 3.11 iter/s
https://i.imgur.com/Rn5DJZV.png

第二台Ubuntu 20.04.6 LTS 9700K @4.8G + RTX Titan
理論FP32 16.31 TFLOPS
測試速度 3.81 iter/s
頂到CPU瓶頸所以都是雙開，效率還要乘以1.5 = 5.71
https://i.imgur.com/melAvlp.png

第三台win10 22H2 i7 6700 + 1060 6GB
理論FP32 4.375TFLOPS
測試速度 1.83 iter/s
https://i.imgur.com/aZvIAv2.png

版上還沒看到有相關的文章應該發這邊會有人看吧…

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.42.254 (臺灣)

https://www.ptt.cc/PC_Shopping/E.8gmQQ5rgPrYM

※ 編輯: remia81 (39.9.128.50 臺灣), 01/17/2024 11:27:11

GPUTach很炫炮

https://i.imgur.com/0aTSDkS.gif

※ 編輯: remia81 (39.9.128.50 臺灣), 01/17/2024 12:40:52

※ 編輯: remia81 (39.9.38.128 臺灣), 01/17/2024 13:12:34