PTT評價

[問卦] DeepSeek 在LPU上表現

看板Gossiping標題[問卦] DeepSeek 在LPU上表現作者
boy830527
(eric)
時間推噓 4 推:4 噓:0 →:14

小弟從Groq官網上看到deepseek用 LPU跑
速度好像快的驚人 未來的ai聖杯會不會變成lpu?

還是有其他科技大大可以解釋一下 這些差異
https://i.imgur.com/BsIambO.jpeg

-----
Sent from MeowPtt on my SM-S9280


--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.194.16 (臺灣)
PTT 網址

bluebluelan 01/28 08:56LPU一直都很快 但是第一代產品走錯方

bluebluelan 01/28 08:56

bluebluelan 01/28 08:56一張卡才幾百MB 要兩三千張才夠671B

我看官網上一些分享LPU整個屌打,還是說LPU 建置成本比GPU還高? 或是耗能上的表現如何?

※ 編輯: boy830527 (223.137.194.16 臺灣), 01/28/2025 08:58:38

bluebluelan 01/28 08:56還不算KV cache

bluebluelan 01/28 08:59廢話 那個官網難道會說自己的缺點

boy830527 01/28 09:01另外有一些抖音博主也在分享……

boy830527 01/28 09:02建置成本跟能耗和gpu相比有差很多

boy830527 01/28 09:02嗎?

ctw01 01/28 09:02就是特化給語言模型的當然要快啊

bluebluelan 01/28 09:02不是特化給模型 是他走純SRAM

bluebluelan 01/28 09:03但是一張卡才幾百MB 上市也一年多

bluebluelan 01/28 09:03真的有搞頭早就賣爆了

boy830527 01/28 09:05看起來像是記憶體空間不夠大需大量

boy830527 01/28 09:05建置但速度快是這樣嗎?

ctw01 01/28 09:05我記得之前讀到LPU是專給LLM 設計的 所以

ctw01 01/28 09:06說算是個特化產品嗎

boy830527 01/28 09:07因為現在演算法優化後對整體影響性

boy830527 01/28 09:07如何?