PTT評價

Re: [新聞] AMD處理器壓倒性勝利 市佔率飆至92%

zzahoward 發表於 2025/2/6 上午10:24:38
看板Stock標題Re: [新聞] AMD處理器壓倒性勝利 市佔率飆至92%作者
zzahoward
 (Cheshire Cat)時間推噓 9 推:13 噓:4 →:24

關於AMD呢，在老黃GPU又貴產量又少的狀態下

目前已經不少人找方法剔除不用GPU的方式去建立Local LLaMA了

在R1橫空出世後的一個多月內，大量公司/個人小型workstation已經開發出一些東西

之後系統商和模型/權重持續最佳化狀態下，應該能有更好的產出

簡單來說，這套系統最重要的就是RAM頻寬和大小

所以使用EPYC MZ73板子，可以有24個DDR5通道

全部插滿32GB ram，啟動時有足夠的SSD空間把R1丟到RAM裡面就好

這樣的設定可以在Q8狀態下去跑完整模型，而不是蒸餾過的

當然，這樣的配置不會有700GB VRAM的機器還快

但你有700GB VRAM的設備大概要12萬USD左右

以目前這套大概不到6000 USD就可以組出來的設備，產出約在6~8tok/s左右

但要是AMD和系統廠能夠合作推出更專業的產品

R1目前的開源以及社群的熱絡，可以讓老黃的GPU變成CP值超低的奢侈品

而目前EPYC這樣的配置，已經足夠多數中小型企業/軟體公司使用

甚至比你去租賃算力還便宜

AMD就算GPU在搞笑，但AI的部分絕對不會缺席

只要老黃故意把VRAM卡在那邊拿翹

拿時間換錢的企業和個人使用者不需要那麼快的生成

AMD和系統廠包裝一下大有搞頭好嗎

BTW，因為主要瓶頸是RAM頻寬和大小，所以CPU本身也不用太高階的，夠算就好了

就算用9115或是9015也不會損失太多

能耗部分也很省，上面那組系統耗電量大概就是在400W左右

想想你跟老黃買到700GB的Vram去佈署，要花多少電XDDD

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 136.226.240.114 (臺灣)
※ PTT 網址
推

uke823 02/06 10:2599AMD

噓

BMTH5566 02/06 10:26apple：

M4 pro也可以跑喔，效率非常好，只是水果店RAM都焊死的超貴 所以只能跑蒸餾過得比較好

※ 編輯: zzahoward (136.226.240.114 臺灣), 02/06/2025 10:30:37
推

jeangodard 02/06 10:32LLM後 AI的下一步是什麼

→

LDPC 02/06 10:345090就夠了 還有之後的老黃Project DIGITS

推

stlinman 02/06 10:38訓練和推理本來存在差異。目前CP值應該租賃算力<本

→

goodjop 02/06 10:39這比較偏終端吧 別老是拿終端比雲端

→

stlinman 02/06 10:39地部屬。 除非有資訊安全、隱私的需求不然長期還是

→

stlinman 02/06 10:40偏雲端。

→

stlinman 02/06 10:41 租賃算力 > 本地部屬

→

jayemshow 02/06 10:50我也是這樣想 買入AMD套到現在 供參

推

Roger5566 02/06 10:54推 所以AMD可以進場囉
→

lc85301 02/06 10:5599AMD

→

bnn 02/06 10:5599AMD 沒啦 這表示板子頻寬問題 要炒CPO嗎

推

CMPunk 02/06 10:58我等AMD二位數再進場 沒有就算了

→

JoeyChen 02/06 11:06教主會再出山嗎

噓

PureAnSimple02/06 11:37要做多了嗎？只分析沒錢賺

推

koebel0521 02/06 11:4399 AMD

→

v21638245 02/06 11:47想太多，amd寄生售價還少嗎

推

s987692 02/06 11:54股版一堆人還在看gaap eps…真的傻眼

→

wr 02/06 11:56簡單來說~ 99AMD

推

kuan870704 02/06 11:59想太多，AMD只要發現這樣有利可圖馬上就會漲價到cp

→

kuan870704 02/06 11:59值跟老黃一樣低ㄏㄏ

→

kuan870704 02/06 12:00黑暗騎士的小丑就說過了如果你很擅長某件事千萬別免

→

kuan870704 02/06 12:00費去做

推

mcgrady1233602/06 12:04你這篇一年前彥州包圍網講過了，後來他也放棄直接

→

mcgrady1233602/06 12:04投奔老黃，八成又什麼技術壟斷無法短期克服

→

ader888 02/06 12:09絕對不會缺席，只是不公布營收了

推

deann 02/06 12:10水果店的RAM可以變成VRAM來用

→

IBIZA 02/06 12:36這篇講的跟AMD沒有直接關係

→

IBIZA 02/06 12:47這篇是說你可以用支援多通道記憶體的CPU架構, 把完

→

IBIZA 02/06 12:51整版的R3 load到記憶體跑, 只要記憶體有三百多G就可

→

IBIZA 02/06 12:51以

推

moike22 02/06 12:53AMD:我的股價不是這麼說的QQ

噓

LMgogo 02/06 13:30股價？

噓

lise1017 02/06 13:37大量公司早就已經不用晶片來訓練模型了 最新發現原

→

lise1017 02/06 13:37來用泡麵也可以訓練大模型 有人正在嘗試看看用麥香

→

lise1017 02/06 13:37能不能 你還在用晶片 呵呵

→

lise1017 02/06 13:39用300x300的阿Q桶麵訓練出來的大模型效率居然等同

→

lise1017 02/06 13:39GPT 據說泡菜口味效能更甚

推

Lowpapa 02/06 15:56晶片已死

推

youtrue 02/06 16:24結果股價一塌糊塗
同系列文章
Re: [新聞] AMD處理器壓倒性勝利 市佔率飆至92%
其他人也閱讀了
PTT 熱門相關