[請益] AI用卡請益
大家早安大家好，最近在跑一些自用模型時，總發現顯卡的ram不夠用，有點換換病發作，?
原設備：
CPU:12400
GPU:4070ti12g
RAM:32g
電供:850W
用途就是打打lol跟星海，蠻少玩大作的，螢幕還是1080P的，大概是沒什麼遊戲壓力。
因為有辦法跑中國保固，所以最近在看一些魔改類的。
便宜：
2080ti22g
優點：便宜，CP值高
缺點：舊、慢、缺了一些精度、礦、只保1年
3090 24g
優點：CP值高
缺點：熱爆、過保、礦
貴爛：
4090 48g
優點：BIOS直上，啥都不用改，保3年，強的要死
缺點：渦輪跟戰鬥機一樣吵(滿載60分貝)、商家可能跑路、窮、窮、窮
4090 24G
優點：強、原廠在顧
缺點：旁邊有個3年保的48G、買不到、跟48G差沒多少
5090 32G
優點：更強、原廠在顧
缺點：我買不到、窮、窮、窮、窮
好像現在比較好玩的就這幾張，如果發言很新手的話，沒錯，剛玩沒多久，也沒有什麼生產
老黃就不能出一張RAM大一點的效能差一點的卡嗎@@
4070ti只有這個玩不了跟那個玩不了，另外想請教一下，這樣狗騎呂布應該不太影響玩AI吧
謝謝大家
--
等大船v100
好像...好像可以耶.不過這個能跑遊戲嗎
超過16G都是貴啊 如果16G能跑
撿張4070TiS加減用吧
最終下下策
Project DIGIT / Mac Studio
一直有點好奇project digit的顯存到底多大，看不懂規格
首推RTX PRO 6000
把我賣掉也買不起啊
寄去對面升級vram？
直接去對面買，這邊買去升級價差不大
捏一下上5090
11萬的還能想想，20萬的把我殺了
能跑的都買不到，夢裡吧
睡覺睡覺
※ 編輯: capcomjohnny (39.9.101.119 臺灣), 03/18/2025 10:36:54我現在跑LLama3.3 70B是用4090+5090
這樣所有的Layer都可以Load到GPU上
Q4的Quantization，還有VRAM放Context
4090 48G捏下去最快 25K CNY
目前最大的vram了
文字生成大概在15t/s
4090+5090太壕了
以CP值來說最高還是二、三手的3090多張
vram怎麼會不夠用呢，5070 12g都有人在
吹跑AI了
吹，往死裡吹
4070tis跑gemma3:27b跟qwq:32b推理
結論：真心推薦直上5090
可惜買不到
忍不住就去買最新的全 vram 筆電吧...
但是全 vram 筆電可能無法滿足遊戲需求
不然就是 DRAM 拉到頂... 只拉得到 256G
全vram可能還不流行，剛剛爬了一下難道是在說project digit
fun科技有用兩張intel 770
能跟4090差不多
等等來看一下
32B的模型用12 16GB的顯卡應該是塞不進vram
was
不在乎速度的話，Ram上128G，用CPU跑，
可以用90B的模型
Project DIGIT / Mac Studio 都是統一記憶
體，ram=vram
噢噢噢原來是這個意思，那我這樣10萬買到128g的顯存他不香嗎？
所以上網看不少人拿Mac Studio跑AI，CP值
很高
我連linux都不太會用QQ
我是在等Project DIGIT，希望上市時可以買
得到XD
大船V100 32g也是貴到哭 看下來只有409
0 48gb有點搞頭 但還是超貴
4張3090除了超熱 電源穩定性也很不家
用
我可能一個迴路還會跳電
有在考慮買256GB M3 ultra Mac Studio
MAC跑AI看中國論壇跟reddit 說用開源
的project很不方便，現在還是cuda 當道
老黃獨佔
intel 770玩星海跟lol沒有問題
Mac我記得看測試速度跟顯卡比有落差
但還是屌打一般用cpu跑
還有超大ram可以跑比較大的模型
H100
有考慮撿二手3090嗎
看過討論m3 ultra 跑 AI 性能接近 309
0 把他當超大vram又省電的3090
對於蘋果系統感到十分陌生
心臟大就2080ti22g或是4090 48g,
大啊，但出事可能會有病，哈哈
貴是缺點的話m3 ultra也沒便宜多少吧
Arc A770 可以跑沒錯，前提是你會用
不會，一點也不
別看fun科技跑量化模型很輕鬆
基礎配置麻煩的很，那個教學完全是在繞路
裝ipex llm第一要件就是全用docker
然後要定頻，不然會發現token/s不如預期
不管ram也好vram也好中間還有那才重點
可以直接4卡V100 16G阿 但整套要重弄
V100 16G 好像850RMB吧
mac最划
直接MacStudio頂規512G RAM可以跑600b
用過一陣子魔改2080ti 22G是真的超值
好耶這個聽起來蠻棒的
跑kohya_ss還可小贏4070ti
至於魔改4090 48G則是智商稅
捏多一點買6k Ada全新更有價值
看起來不像是多捏一點，哈哈
※ 編輯: capcomjohnny (1.172.131.51 臺灣), 03/18/2025 22:33:16mac划算？？？2token每秒欸
epyc組起來更便宜還更快不是？
台灣真的很迷信mac耶...
爆
[閒聊] 想請問各位有非直上70ti 80 90不可的理由想請問各位大大之中的有些人 請問您之中是否有非捏不可 或者直上70ti 或4080 或4090的理由不可的大大嗎? 這篇想請教一下 有上述理由的大大 您的非直上/或非捏不可的理由是什麼嗎? 因為爬了幾個月文 也從原先預設目標3060ti 經過爬文很多各位的平均值 後來差不多是4070應是本版目前最能接受的平均值![[閒聊] 想請問各位有非直上70ti 80 90不可的理由](https://i.imgur.com/PRoOJH4b.jpg "[閒聊] 想請問各位有非直上70ti 80 90不可的理由")
爆
[閒聊] 這次魔物新作，各位選擇那個平台？1.PS5 優點： 有實體片能收藏，可以賣二手片 追物流車應該可以提早玩 缺點：![[閒聊] 這次魔物新作，各位選擇那個平台？](https://img.youtube.com/vi/rx6Q_MFitoM/mqdefault.jpg "[閒聊] 這次魔物新作，各位選擇那個平台？")
59
Re: [情報] 4090太強 12900K/5800X3D都成瓶頸其實不是CPU跟不上，是4090裡面的Front End(FE)跟不上。 了解為什麼老黃不願意改進FE，現在臭打AI更重要，而且Mesh Shader如果普及會減輕FE的壓力。 但能把缺點講成優點，老黃的宣傳部門實在厲害。![Re: [情報] 4090太強 12900K/5800X3D都成瓶頸](https://i.imgur.com/Kq7zjHsb.png "Re: [情報] 4090太強 12900K/5800X3D都成瓶頸")
56
[請益] 9070XT選擇相關請益各位板友大家好，我在9070XT的選擇上遇到困難想請各位板友協助。 先假設都能買到，我預計會需要買2張分別給兩台電腦做使用。 電腦1. CPU︰ intel 13600K MB︰ MSI PRO Z790-A WIFI DDR455
[心得] 全球首發！RTX4090(?) 24G Noctua開箱哈哈又我啦 我鐵華團團長兼愛貓人士又來發開箱心得了 身為一個養貓大戶，需要一張充滿信仰的顯卡來搭配屎色風扇 原本有的3070/3080效能實在有夠落後，配不上我無敵的A12x25。![[心得] 全球首發！RTX4090(?) 24G Noctua開箱](https://i.imgur.com/3Sin9Mwb.jpeg "[心得] 全球首發！RTX4090(?) 24G Noctua開箱")
30
[請益] 央北預售三房格局請益各位前輩大家好 小妹是首購 沒什麼看屋經驗 所以上來詢問意見![[請益] 央北預售三房格局請益](https://i.imgur.com/W7hRaUtb.jpg "[請益] 央北預售三房格局請益")
11
[請益] 希望來個人點醒我最近剛好老家有一台電腦的需求就想說組一台新的把舊的放回家 且因為今年重回校園(電子碩)下學期ML課程會需要一張比較好的顯卡 原本的打算是要組4080結果這價格真的偏臭 想說期待著7900XTX能跟NV打的血流成河 但目前看起來是我的錢包要血流成河了...![[請益] 希望來個人點醒我](https://i.imgur.com/j5yYl8Eb.png "[請益] 希望來個人點醒我")
9
[麥書] macbook購買請益先前買了iMac 24頂規版 用起來非常滿意 只是看youtube 8K超卡 目前剛好有購買筆電需求 但我比較沒有研究5
[請益] AI推理快取 SSD or RAM目前在嘗試在本機跑Q2量化的R1(671B) 目前的環境 4090 * 1 24G DDR5-6800 96G 雖然能夠執行5
[問題] 75吋電視選擇困難做了一些功課（本版、01、科技狗），排除TCL跟$ony後，但還是無法下決定 預算：約6萬初（已經捏爆，不能再捏了） 用途：40%第四台 30%netflix 30%PS5 聲霸：三星Q990B 以下選手各有考慮的點
6
Re: [閒聊] 轉巴哈DCT消費經驗與老闆YT回應3
[菜單] 150k 遊戲機3
[菜單] 64K 升級 9950X3D7
Re: [閒聊] 轉巴哈DCT消費經驗與老闆YT回應![Re: [閒聊] 轉巴哈DCT消費經驗與老闆YT回應](https://i.imgur.com/Tp9AloUb.png "Re: [閒聊] 轉巴哈DCT消費經驗與老闆YT回應")
2
[菜單] 16K文書機
[菜單] 20k左右遊戲機
[菜單] 35K升級電腦
[閒聊]請教華碩AX4200 & AX300選擇
[菜單] 80k遊戲機
[情報] MOMO 5070 70Ti 5080 一批禮包釋出
[菜單] 77K 9800x3d+5070 Ti
[閒聊] 比50系綁禮包還臭的東西來了![[閒聊] 比50系綁禮包還臭的東西來了](https://i.imgur.com/F1P2S77b.jpg "[閒聊] 比50系綁禮包還臭的東西來了")
[情報] 撼訊 RX 9070XT 紅魔白色版登場!![[情報] 撼訊 RX 9070XT 紅魔白色版登場!](https://i.imgur.com/nhsA7qRb.jpeg "[情報] 撼訊 RX 9070XT 紅魔白色版登場!")
[菜單] 55K內遊戲+LR修圖機
[菜單] 60k 內含螢幕遊戲機