PTT評價

Re: [菜單] 10K以內AI機

iammatrix 發表於 2025/7/20 上午10:28:08
看板PC_Shopping標題Re: [菜單] 10K以內AI機作者
iammatrix
 (母體)時間推噓 5 推:5 噓:0 →:7

※ 引述《museangel (敲敲)》之銘言：
: https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with
: _qwen3_so_far/
: 我看到reddit的上面這篇文，想借這串原文問個問題，
: 這幾天開源的llm qwen3-235b-a22b，
: 是不是真的也可以靠cpu跟128gb的ram跑起來，而且速度不算慢、效果也還不錯了？
: 一般這種上百b等級的llm，用一般消費級gpu就算5090也裝不下。如果用cpu跟ram，成本倒
: 是可以壓低得多，而且還有比較大的沿用性，不會像gpu每兩年換代折舊不少。
: 我平常只用gpu跑，沒試過cpu+ram，有沒有前輩有相關經驗，文章裡說到的這種cpu+ram的
: 跑法有沒有什麼地雷？

https://www.youtube.com/watch?v=1N6a46QqdhI

斯波圖最新影片有測試過了，用的是AMD AI MAX+ 395 的小型桌面機
相當的不錯，等於是建構了一個本地AI，有著無限TOKEN。

他把QWEN3的80G模型直接丟給主機的NPU+RAM去跑 全本地的運算
也不影響日常的工作，還能夠分派多重腳色給AI去幫忙執行計畫

https://www.gmktec.cn/product/5656/
最高可以運算96G的模型，主機最高125G 有著約90%左右的9950X性能
價格就超出預算，14999RMB，包含128G+2T SSD，比一張5090便宜就是。

https://www.youtube.com/watch?v=-1kuUqp1X2I
其他也有類似的產品 這台便宜些。

感覺工作上有大量需求+建構本地AI 需要隱私不連網的
這個應該是目前不買老黃顯卡的最優解了

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.35.19 (臺灣)
※ PTT 網址
推

kuninaka 07/20 11:0414999還好，這是整台主機的價格 XD

推

lordmi 07/20 11:15395發售之後這種設計很多，可以多比價。

→

lordmi 07/20 11:15前面有一篇半DIY花費就壓在12k rmb。不過

→

lordmi 07/20 11:15老實說，395套裝適合玩玩或者學校採購，

→

lordmi 07/20 11:15到商用場景還是不上不下有很多限制

推

kuninaka 07/20 11:23要商用當然很難XD

推

kime5412 07/20 11:49不是「80G」模型，是「80億（8b)」，但

→

kime5412 07/20 11:49是說真的8b模型拿來聊天、總結文章還算

→

kime5412 07/20 11:49堪用，真的不能期待更多了

→

iammatrix 07/20 12:04不是8B吧? 8B還吃不到20GB

推

Supasizeit 07/20 13:28無限token 是三小
→

cutejojocat 07/21 00:40可惜就是大廠只有出筆電型態的
同系列文章
Re: [菜單] 10K以內AI機
其他人也閱讀了
PTT 熱門相關
PC_Shopping最新熱門推薦
🔥🔥🔥