Re: [菜單] 10K以內AI機
https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with_qwen3_so_far/
我看到reddit的上面這篇文，想借這串原文問個問題，
這幾天開源的llm qwen3-235b-a22b，
是不是真的也可以靠cpu跟128gb的ram跑起來，而且速度不算慢、效果也還不錯了？
一般這種上百b等級的llm，用一般消費級gpu就算5090也裝不下。如果用cpu跟ram，成本倒是可以壓低得多，而且還有比較大的沿用性，不會像gpu每兩年換代折舊不少。
我平常只用gpu跑，沒試過cpu+ram，有沒有前輩有相關經驗，文章裡說到的這種cpu+ram的跑法有沒有什麼地雷？
※ 引述《steven007 (小乃)》之銘言
: 已買/未買/已付訂金（元）：
: 預算/用途：10K以內AI機
: CPU (中央處理器)：AMD R7 9700X
: MB (主機板)：技嘉 B650M DS3H
: RAM (記憶體)：XPG Lancer D5 6000 16x2 RGB 黑
: VGA (顯示卡)：技嘉RTX5080 WF SFF O16G
: Cooler (散熱器)：Cyber CS6 TUBER ARGB 塔散 黑
: SSD (固態硬碟)：XPG S70 2TB Gen4X4 PCIe SSD
: HDD (硬碟)：
: PSU (電源供應器)：曜越TOUGHPOWER GF3 1000W 金牌
: CHASSIS (機殼)：ASUS Prime AP201 MicroATX白
: MONITOR (螢幕)：沿用
: Mouse/KB (鼠鍵)：
: OS (作業系統)：W11 DIY專業版
: 其它 (自填)：
: 總價 (未稅/含稅)：87000
--
MoE模型的確有這種優勢
可以跑啊，只是速度你要能接受
我拿4060ti 16G跑32B的模型就覺得慢死
了
跑235B的我看跑一個問題可能要10分鐘
以上甚至無法回應
直接LMstudio或Ollama就能試了吧 我用HX370
跑DS或任何大於32B的模型 大概個位數token/s
能取代GPU老黃就不會這樣躺著賣了
看一看reddit別人的好像大概有12~16tp
s，感覺還行
跑太久無法回應要想想是不是模型檔案
有Quality問題?看是原生就有或量化後?
可能和指令集有關 換個格式有時天差地
235b有點勉強，30b真的很快
試了一下，128G不夠，256可以，速度
只有個位數，但勉強可用
235b需要150G左右的記憶體
/no_think速度應該可以更快一點
qwen3最厲害的是可以即時切換think/
no_think，很方便
大概個位數tp 玩玩可以，沒有任何生產性
順便一提最近應該有批40系煉丹卡要流入市
面，有跑小模型的人可以買來玩玩
![Re: [菜單] 10K以內AI機](https://img.youtube.com/vi/1N6a46QqdhI/mqdefault.jpg "Re: [菜單] 10K以內AI機")
爆
Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售你劃錯重點, 先不論這篇論文的可行性與實用性, 你真的劃錯重點了 算力重要嗎? 重要但是不是影響販售/採購晶片的主因,![Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售](https://i.imgur.com/GxJuHEib.jpeg "Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售")
88
Re: [閒聊] GN拆解要價15萬的外星人R13桌機:爛的誇張先說我不是唸電腦專業的，我只是就一般打遊戲的消費者來發表感想。其實我覺得對於 「著重玩遊戲的一般消費者」來講，R13並沒有那麼差。 我自己買的規格如下： CPU: i9-12900KF GPU: RTX 3080ti![Re: [閒聊] GN拆解要價15萬的外星人R13桌機:爛的誇張](https://i.imgur.com/xfITYCyb.png "Re: [閒聊] GN拆解要價15萬的外星人R13桌機:爛的誇張")
18
[閒聊] LLM 推理用機器由於最近 LLM 發展越來越快，剛好自己也有一些 LLM 的需求。 但又不想要使用 OpenAI 或是其他供應商的服務。 從前幾個月開始就有想要自己弄個機器來架設服務的想法。 最近開始也對高參數的模型越來越好奇，但由於大容量 VRAM 的 GPU 實在是買不起，所以想說是不是轉用 CPU 來玩玩看。 我看了很多技術分析和 Benchmark，基本上都說 LLM 的 inference 目前是 memory bound，也就是 memory bandwidth 是瓶頸。![[閒聊] LLM 推理用機器](https://img.youtube.com/vi/oDIaHj-CGSI/mqdefault.jpg "[閒聊] LLM 推理用機器")
17
[情報] 極客灣 CES的AMD新品現場體驗AMD在CES上最大的亮點應該就是那顆AI MAX 395的APU。以往x86的APU都是搭配一顆堪用 或是等同主流級別的GPU。雖然幾年前也有i7-8809G這種Intel CPU搭配Vega M GH GPU的 異類，但以目前來看x86的APU都不會像水果那樣做出CPU和GPU都相當強大的SOC AMD這次推出的AI MAX 395相比前一代的AI 9 HX370除了CPU核心數提升外，L3快取和GPU![[情報] 極客灣 CES的AMD新品現場體驗](https://img.youtube.com/vi/XoQxWgHVsTc/mqdefault.jpg "[情報] 極客灣 CES的AMD新品現場體驗")
11
[菜單] 150K 影片剪輯、AI推論已買/未買/已付訂金（元）：未買 預算/用途： 各位前輩們大家好，小弟最近想買一台適合用來跑AI推論與影片剪輯的電腦 關於AI推論，我預計會在自己的電腦上跑以下幾種任務 (1) 語音 轉 文字![[菜單] 150K 影片剪輯、AI推論](https://i.imgur.com/n7KvS4vb.jpeg "[菜單] 150K 影片剪輯、AI推論")
7
[硬體] 請益 macbook m1 pro 翻新機還是 air m2中午逛 apple 整修品商店看到價錢很誘人的 m1 pro，想請益各位大大下面這兩台 macbook 價錢差不多會怎麼選擇？ 平常用途： 工作上會開多個 IDE(clion/pycharm/vscode) 並跑 xcode 編譯、 同時跑多個測試用 dcoker container、開一堆網頁瀏覽等，希望可以撐個 5 年以上 以下都是 apple 官網售價 選手 A. 2021 年 14 吋 MacBook Pro M1 Pro 官方翻新機 $461006
[菜單] 100K AI/遊戲機預算/用途：10萬 / 13萬 Comfyui / LLM / 遊戲 CPU (中央處理器)：沿用3950X / 9800X3D MB (主機板)：沿用X570 / mATX的板？ RAM (記憶體)：沿用DDR4 64G / DDR5 64G3
Re: [閒聊] 現在的遊戲做得出「皺折」這種效果嗎MPM => IPC 去年的東西 解決不少傳統物理模擬的問題![Re: [閒聊] 現在的遊戲做得出「皺折」這種效果嗎](https://img.youtube.com/vi/lxzGraohijU/mqdefault.jpg "Re: [閒聊] 現在的遊戲做得出「皺折」這種效果嗎")
3
Re: [問卦] CPU 重要性哪時候被 GPU 超越的?很重要啊 就像是石油一樣重要 但是穿透力已經極限了 沒辦法成長 intel一年的收益是50b 市值180b nvidia一年的收益是60b 市值2000b 就憑收入而言 intel收入只輸給nv10b 但是公司市值差了十一倍 CPU的營收就像是石油差不多 已經到頂了 沒啥成長性2
Re: [菜單] 120K LLM+SD 5090 AI生成機怎麼說呢，目前小資玩LLM訓練還是很困難啦 NV專業卡價格超級貴又難買，只能買消費級遊戲卡來擋 雖然有雲端服務商算力平台，但說真的 短租不如長租~~長租不如買斷(沒預算就什麼都沒法用) 而且平台不只租GPU，連VM都得一起建在上面才能用![Re: [菜單] 120K LLM+SD 5090 AI生成機](https://www.gstatic.com/devrel-devsite/prod/v329b39deca73fc0f4b4862903640085cfb4d3102e48d211dd97ad63f3860a376/cloud/images/social-icon-google-cloud-1200-630.png "Re: [菜單] 120K LLM+SD 5090 AI生成機")
![[情報] ID-COOLING 推出香氛散熱膏 有四種口味](https://i.imgur.com/mwZVTQob.jpeg "[情報] ID-COOLING 推出香氛散熱膏 有四種口味")
![[閒聊] 日亞特價買的特價T500 不出貨....](https://i.imgur.com/dTSDDpzb.jpeg "[閒聊] 日亞特價買的特價T500 不出貨....")
![[開箱] ROG xg32ucwg](https://i.urusai.cc/14mu9.png "[開箱] ROG xg32ucwg")
![[開箱] 君主 KING 45 Pro ft.Hyperflow Digital](https://i.imgur.com/3xLalf4b.png "[開箱] 君主 KING 45 Pro ft.Hyperflow Digital")