[菜單] 45K LLM模型微調伺服器升級

bhmagic 12/18 15:22感覺CPU跟記憶體都省過頭了

bhmagic 12/18 15:28怎麼說你ram比Vram小那麼多 那裡出瓶頸

bhmagic 12/18 15:29都不奇怪 而且Epyc的核心常常需要做一些

bhmagic 12/18 15:30打雜的IO 還是多一點比較好

mrme945 12/18 15:30他的RAM應該是16G*8吧

bhmagic 12/18 15:34err..應該是

mrme945 12/18 15:38電源機殼你可以考慮兩顆1000W加條雙電源

mrme945 12/18 15:38啟動線配雙電源倉的機殼，或是直接買有連

mrme945 12/18 15:38動啟動功能的雙電源(Antec OC-link之類的

mrme945 12/18 15:38)

E7lijah 12/18 15:46有ATX3.0的1600W應該夠

mrme945 12/18 15:50兩顆1000W非ATX3.0應該比一顆1600W ATX3.

mrme945 12/18 15:500便宜啦

jeff85898 12/18 15:51那1U機殼配伺服器電源不知道會不會更划

jeff85898 12/18 15:51算

jeff85898 12/18 15:53但原有那張顯卡不是鼓風扇可能會有風道

jeff85898 12/18 15:53的問題？

mrme945 12/18 15:53有1U機殼放得下兩張3090的？

E7lijah 12/18 15:551U高度才4.4公分 怎麼可能裝得下

mrme945 12/18 15:55如果你有機櫃的話，往伺服器機殼找是沒問

mrme945 12/18 15:55題啊，不過新品都很貴，大概就還是要去用

mrme945 12/18 15:55淘的吧

mrme945 12/18 15:55應該要找4U或5U才有機會啦

E7lijah 12/18 16:07散熱找貓頭鷹NH-U9 TR4-SP3應該就能壓16

E7lijah 12/18 16:07核了

E7lijah 12/18 16:09如果你機殼買到5U高度 散熱器可以看U12S

E7lijah 12/18 16:09或U14S，4U高度我記得會差一點裝不下

E7lijah 12/18 16:10不然就是一樣找對岸拆機塔散 但server塔

E7lijah 12/18 16:10散轉速通常較高 很吵

mrme945 12/18 16:13不過我看了一下預算，你電源加上去就差不

mrme945 12/18 16:13多沒預算了，CPU散熱倒是還好，反正貓頭

mrme945 12/18 16:13鷹SP3腳位的隨便挑應該都夠，反倒是顯卡

mrme945 12/18 16:13散熱比較困難

mikapauli 12/18 16:26你有雙槽的3090就塞得進1U

mikapauli 12/18 16:27但沒事別這樣搞自己，又不是寸土寸金

E7lijah 12/18 16:29FTW 2.75槽 沒救

mikapauli 12/18 16:305U就裝得下幾乎所有塔散了，TS140P都行

chang1248w 12/18 17:06x8和x16跑不出差異吧

E7lijah 12/18 17:42對了 你有切成x8看看是不是真的有瓶頸嗎

E7lijah 12/18 17:43我記得耶穌測4090跑4.0x8也折損不到5%

promaster 12/18 17:46瓶頸是在顯卡 LLM用3090遲早燒起來

promaster 12/18 17:46換一張6000A吧！

jeffguoft 12/19 07:22現在3090兩萬買得到嗎？

jeff85898 12/20 12:15看起來是買不到…先買張3060湊一下vram

jeff85898 12/20 12:15吧