[請益] AMD395+跑AI到底合不合適呢

linzero 08/13 18:14沒用過，是聽說GPU的DDR7速度比較快，這

linzero 08/13 18:14種共用、統一記憶體的應該是DDR5？適合大

linzero 08/13 18:15參數模型，但相對GPU計算速度是慢了點

hidexebih 08/13 18:18395好像比較適合LLM

soulgem 08/13 18:18lpddr5x,大模型好,像之前gpt-oss-120b...

soulgem 08/13 18:19不過 gpt 扔出來體驗跟之前的不一樣...

commandoEX 08/13 18:19不建議，395現在只有BETA驅動+平台

commandoEX 08/13 18:21然後記憶頻寬不知道為何實測只有理論

commandoEX 08/13 18:21的一半

jior 08/13 18:33395就是一個只有記憶體容量大的東西而已，3

jior 08/13 18:3385還比較均衡一點

jkiu 08/13 18:35一點都不超值，偏貴，但它是你目前除了Mac m

jkiu 08/13 18:35ini/studio外跑同時多個中小型或一個稍大一

jkiu 08/13 18:35點的MOE模型的選擇

a71245969 08/13 18:36LLM可以，跑圖影很勉強

lordmi 08/13 18:36我前面說過了395+只適合學校批量採購讓學

lordmi 08/13 18:36生做作業。什麼用途都能用，都不快，生產

lordmi 08/13 18:36力幾乎等於零。32+96有些模型進去會閃退

jkiu 08/13 18:39總之就是偏貴+頻寬不夠大，amd的原生roc支援

jkiu 08/13 18:39跟垃圾一樣，就賣你一個amd之後修好roc問題

jkiu 08/13 18:39後可能會變快的夢想

Supasizeit 08/13 18:58應該跑得比5090 swap還慢

labbat 08/13 19:03這種的不就是串聯很多台丟冷氣房架伺服器

labbat 08/13 19:04用的嗎 熱量低效能高就像hp的G1a系列

oppoR20 08/13 19:08學校批量採購 你也太看好學校了

oppoR20 08/13 19:10都馬是台銀共約點一點 到現在標準還是8g

oppoR20 08/13 19:10 ram的套裝機

oppoR20 08/13 19:10這種東西量少 更不可能大量採購

xylophone135 08/13 19:11頻寬太低是硬傷

jkiu 08/13 19:12多台跑一般server服務不會用到這個，llm要頻

jkiu 08/13 19:12寬，多台效能1+1=0.5

s78513221 08/13 19:26學校跑這個不如學AppleMLX

vsbrm 08/13 19:36除非需要用到大顯存(超大模型或是同時跑數

vsbrm 08/13 19:36個模型)要不然不建議395

qwe753951 08/13 19:46沒錢的話也沒什麼好選的

qwe753951 08/13 19:47小小一台還蠻方便的，不過軟體還是不行

qwe753951 08/13 19:47啊

s78513221 08/13 19:57https://i.imgur.com/aLFoBup.jpeg

s78513221 08/13 19:57零刻也出了一台

scarbywind 08/13 20:16賭蘋果的搞不好還比較有前景

jeff85898 08/13 20:17跑推論效能ok啊 AMD有發一篇demo gpt-o

jeff85898 08/13 20:17ss 120b(fp4) 大概30t/s

jeff85898 08/13 20:17https://tinyurl.com/37tzkz7y

Pixmi 08/13 20:18我用9070XT在WSL跑SDXL 一張1536x864的圖跑

Pixmi 08/13 20:18兩分鐘左右，給你參考

jeff85898 08/13 20:22但有本地跑模型需求通常都是需要客製化

jeff85898 08/13 20:22吧 這效能也不夠微調模型挺尷尬的 不如

jeff85898 08/13 20:22就直接call API

ALuBa13 08/13 20:29395的優點就是如果你有「本地」的需求，

ALuBa13 08/13 20:29它是目前個人用戶能入手的選項裡相對低成

ALuBa13 08/13 20:29本的(以vram容量來比較)，NV的vram貴森森

ALuBa13 08/13 20:29，要買到夠大的容量所費不貲，Mac也是差

ALuBa13 08/13 20:29不多的情況，vram容量是LLM的第一道最基

ALuBa13 08/13 20:29本的門檻，容量不夠大裝不下就連跑的資格

ALuBa13 08/13 20:29都沒有，就不用考慮速度的問題了。但它最

ALuBa13 08/13 20:29大的弱點是AMD的rocm很不好用，不像NV的c

ALuBa13 08/13 20:29uda很方便，想用這台跑ai真的就是只能賭A

ALuBa13 08/13 20:29MD以後能把rocm改到好用，頻寬速度的都是

ALuBa13 08/13 20:29其次；單純只看紙面參數規格的話我也是對

ALuBa13 08/13 20:29這台很有興趣，但上網查了一些網友對rocm

ALuBa13 08/13 20:29的評價之後就退縮的保留狀態了....

qwe753951 08/13 20:43他vulkan跑的比較快，ROCm蛋雕

labbat 08/13 20:50不否認需求啦，只是倒退50年前的電腦也是

labbat 08/13 20:50工作站電腦邁向個人電腦

labbat 08/13 20:51然後是IBM PC-XT個人電腦以後的趨勢至今

EYESOFDARKKE 08/13 21:03不急的話，等DGX Spark再一起評估

Ceferino 08/13 21:42只適合跑MoE架構的LLM吧，記憶體頻寬不

Ceferino 08/13 21:42夠能跑但龜速你也不會想用，這種東西一

Ceferino 08/13 21:42定是一分錢一分貨，真的高CP肯定掃盤不

Ceferino 08/13 21:42用問都知道去搶

CGary 08/13 23:13AI395只有跑超大的LLM有點用 炒高就不值了

hidexebih 08/13 23:19玩AI一個很實際的觀點是，以進出價格來

hidexebih 08/13 23:19看，顯卡的使用成本比較低，395不好說

spfy 08/14 00:23就9955HX(9950X的筆電版)+近4060超大內顯

spfy 08/14 00:23+可以任意分割75%記憶體當VRAM的神奇產物

spfy 08/14 00:24我很想買但好像用不到 定位真的很神奇

spfy 08/14 00:25想試可以先找370HX+64G的裝置借來玩玩看

spfy 08/14 00:26看看符不符合你想玩的念頭(實用性就算了吧)

cutejojocat 08/14 00:50要跑就直接128G吧 能跑oss120b

dos01 08/14 00:54這東西就除非你有很強的除錯能力 再加上要

dos01 08/14 00:54很強的找解決方案的能力 知道怎麼用那些

dos01 08/14 00:54社群去問 不然就多花點錢去買N卡就好

dos01 08/14 00:54不用這樣搞自己

dos01 08/14 00:56真的要有實用性 也是等個幾年之後 高手搞出

dos01 08/14 00:56個懶人方案 可以動手指點點就用再說

wsdykssj 08/14 01:29https://youtu.be/DXh6uoQeezI&t=416

s78513221 08/14 08:56看比較下來就是NPU都在偷懶XD

gameguy 08/14 09:07有錢富哥的玩具

lordmi 08/14 10:42想便宜入手又不需要發票的，洋垃圾和雙路

lordmi 08/14 10:43X99再收幾張3080礦卡能做更多事，有財力有

lordmi 08/14 10:43機櫃的直接買正經伺服器，要開發環境完整

lordmi 08/14 10:44就macstudio 消去這些市場之後，395也就

lordmi 08/14 10:45只能讓預算上不去又要發票還沒有機櫃只有

lordmi 08/14 10:45時間太多的學校採購了，不然誰會買這個

Baternest 08/14 10:48就自用的玩具 不缺錢可以入手當白老鼠

lordmi 08/14 10:48本地模型頂多裝Q2Q3量化幻覺多而且還慢

commandoEX 08/14 10:50現在AI只能從NPU CPU GPU選一個調度

commandoEX 08/14 10:50所以叫GPU做事NPU就會擺爛

shasen1236 08/14 11:26沒錢又需要大VRAM就選這個阿，Linux

shasen1236 08/14 11:26不就是這樣走來的

mtc5566 08/14 11:485060Ti 16G選華碩DUAL技嘉WF這種陽春卡

mtc5566 08/14 11:48不貴吧 再次也還有PNY 4060Ti 16G可以拿

mtc5566 08/14 11:48 N卡貴不是沒道理 CUDA人人都說好用

kkes0001 08/14 12:07答應我，沒錢不要玩AI

Shinnher 08/14 12:21共享記憶體是它優勢，應該直上128G吧？

commandoEX 08/14 16:18共享記憶體(X)超大顯示記憶體(O)

tint 08/14 16:47等5070TiS 24GB或是5080S 24GB來降頻降壓跑

Litfal 08/14 19:53看你跑什麼 生圖不必 大語言大模型比較聰

Litfal 08/14 19:53明 但還是有點慢要等

niburger1001 08/15 05:19要生產力就是n卡 大vram 別找自己

niburger1001 08/15 05:19麻煩

NoyVaughty 08/16 15:29ROCm 7.0 可以期待一下

NoyVaughty 08/16 15:30各家大廠已經買了MI系列的硬體了，軟

NoyVaughty 08/16 15:30體自然會跟上

NoyVaughty 08/16 15:30不然等著被客戶罵翻