[菜單] 45K LLM模型微調伺服器升級
已買/未買/已付訂金(元):未買
預算/用途:原有的單張3090 24GB顯卡微調較大的語言模型已經不太夠用,需要再加一張3090。家用平台PCIE頻寬似乎最多只支援到兩組PCIE 4.0 x8,希望直接升級到EPYC平台較不會有頻寬瓶頸的問題,不過電源、機殼不太知道如何選擇,再麻煩大家推薦一下了,謝謝!
CPU (中央處理器):AMD EPYC 7302 $4387 (淘寶拆機)
MB (主機板):技嘉 MZ32-AR0 E-ATX $6983 (淘寶拆機)
RAM (記憶體):美光16G 2RX8 PC4-3200AA ECC REG *8 $6258 (淘寶拆機,QVL支援)VGA (顯示卡):EVGA 3090 FTW3 沿用EVGA 3090 FTW3 $20000 (二手)
Cooler (散熱器):待填
SSD (固態硬碟):沿用
HDD (硬碟):無
PSU (電源供應器):待填
CHASSIS (機殼):待填
MONITOR (螢幕):沿用
Mouse/KB (鼠鍵):沿用
OS (作業系統):Ubuntu
其它 (自填):無
總價 (未稅/含稅):37628+待填
-----
Sent from JPTT on my OnePlus IN2015.
--
感覺CPU跟記憶體都省過頭了
怎麼說你ram比Vram小那麼多 那裡出瓶頸
都不奇怪 而且Epyc的核心常常需要做一些
打雜的IO 還是多一點比較好
他的RAM應該是16G*8吧
err..應該是
電源機殼你可以考慮兩顆1000W加條雙電源
啟動線配雙電源倉的機殼,或是直接買有連
動啟動功能的雙電源(Antec OC-link之類的
)
有ATX3.0的1600W應該夠
兩顆1000W非ATX3.0應該比一顆1600W ATX3.
0便宜啦
那1U機殼配伺服器電源不知道會不會更划
算
但原有那張顯卡不是鼓風扇可能會有風道
的問題?
有1U機殼放得下兩張3090的?
1U高度才4.4公分 怎麼可能裝得下
如果你有機櫃的話,往伺服器機殼找是沒問
題啊,不過新品都很貴,大概就還是要去用
淘的吧
應該要找4U或5U才有機會啦
散熱找貓頭鷹NH-U9 TR4-SP3應該就能壓16
核了
如果你機殼買到5U高度 散熱器可以看U12S
或U14S,4U高度我記得會差一點裝不下
不然就是一樣找對岸拆機塔散 但server塔
散轉速通常較高 很吵
不過我看了一下預算,你電源加上去就差不
多沒預算了,CPU散熱倒是還好,反正貓頭
鷹SP3腳位的隨便挑應該都夠,反倒是顯卡
散熱比較困難
你有雙槽的3090就塞得進1U
但沒事別這樣搞自己,又不是寸土寸金
FTW 2.75槽 沒救
5U就裝得下幾乎所有塔散了,TS140P都行
了解那就是淘寶再找看看4U 5U的機箱了,顯卡散熱可能就用高轉速的機箱風扇了
x8和x16跑不出差異吧
看評測3090似乎已經達到PCIE3.0=PCIE4.0 x8的上限了,主要是也想保留升級空間,不然之 後vram不夠還要再換平台
※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 17:42:38對了 你有切成x8看看是不是真的有瓶頸嗎
我記得耶穌測4090跑4.0x8也折損不到5%
瓶頸是在顯卡 LLM用3090遲早燒起來
換一張6000A吧!
之後如果有預算再加一張吧 因為現在的主機板沒有支援x16拆分 第二張卡只能跑x4 想說就一次換到 mz32-ar0 了 有四 組PCIE 4.0 x16
※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 19:35:47現在3090兩萬買得到嗎?
看起來是買不到…先買張3060湊一下vram
吧
11
[菜單] 35K 遊戲機已買/未買/已付訂金(元): 未買 預算/用途: 不含顯卡35K 加上顯卡50K左右 不過顯卡要等排隊排到 主要是拿來玩FH4、Cities: Skylines10
[菜單] 45K 中度遊戲機已買/未買/已付訂金(元):顯卡已買,其他未買 預算/用途:排到EVGA顯示卡,可以把這台E3-1230+970升級了QQ 因為電腦櫃只能放高度45公分以下的機殼所以挑這款 用途目前比較常模擬器+steam小遊戲+網頁多開 CPU (中央處理器):AMD R5 5600X10
[菜單] 40k內遊戲機已買/未買/已付訂金(元):未買 預算/用途:遊戲機 CPU (中央處理器):【MPK】AMD【6核】Ryzen5 5600X/無外盒/含散熱器 MB (主機板):華碩 TUF B550M-PLUS(WIFI)(mATX/1H1DP/M.2*2/8+2相供電/ax+BT5.1/4層板) RAM (記憶體):美光 Micron Crucial Ballistix 32G(16G*2) DDR4-3200 白9
[菜單] 18K 輕度影音遊戲機已買/未買/已付訂金(元):未買 預算/用途:18K CPU (中央處理器):AMD 4650G MB (主機板):華擎 B550M PRO4 RAM (記憶體):十銓 T-Force 8Gx28
[菜單] 80k遊戲已買/未買/已付訂金(元):未買 預算/用途:80k 遊戲 影音 CPU (中央處理器):AMD 5900X MB (主機板):TUF-GAMING-X570-PLUS RAM (記憶體):美光DDR4-3600-32G6
[菜單] 60K 3A遊戲機已買/未買/已付訂金(元):未買 預算/用途:3A遊戲 CPU (中央處理器):AMD R7 5800X MB (主機板):下詳 RAM (記憶體):美光 DDR4 3600 16G*26
[菜單] 44K的遊戲機已買/未買/已付訂金(元):未買 預算/用途:想可以順順的跑3A大作 不知道這樣夠不夠用 CPU (中央處理器):AMD【6核】Ryzen5 5600X MB (主機板):技嘉 B550M AORUS PRO-P RAM (記憶體):美光 Micron Crucial Ballistix 32G(16G*2) DDR4-3200 白4
[菜單] 35K深度學習機(升級)已買/未買/已付訂金(元):未買 預算/用途:CV深度學習機 CPU (中央處理器):Intel I7-9700KF (沿用) MB (主機板):ASUS Z390-PLUS (沿用) RAM (記憶體):HyperX FURY 32G (沿用)3
[菜單] 65K 遊戲機已買/未買/已付訂金(元):未買 預算/用途:3A遊戲能順 CPU (中央處理器):AMD R7 5800X, 13170 MB (主機板):ASUS TUF X570 Plus WIFI, 5990 RAM (記憶體):美光 DDR4 3600 32G(16*2)黑, 39991
[菜單] 50K 雜食機已買/未買/已付訂金(元):未買 預算/用途:50K / NBA2K F1 PUBG APEX + Netflix 4K CPU (中央處理器):Intel i7-11700【8核/16緒】2.5GHz $10500 MB (主機板):華碩 TUF B560M-PLUS WIFI $3990 RAM (記憶體):金士頓 D4-3200 FURY Beast 8G*2 $2050
37
[情報] 原價屋/Autobuy/欣亞 9800X3D限整組條件8
[閒聊] 漫步者R2700喇叭出現電流哼聲22
[情報] 華擎 B850 Steel Legend 配備4組M.2曝光7
[情報] 9 款 ASUS B860/850/840 也曝光了6
Re: [情報] 蘇媽AI MAX的內顯直接打上RX 7600/30602
Re: [情報] Intel放棄x86S3
[菜單] 35K遊戲機(含os)3
[請益] AMD R7 3700X POE2 升級2
[菜單] 45k遊戲機2
[菜單] 22K遊戲看盤機1
[菜單] 50k 遊戲機1
[菜單] 30K遊戲影音機