[閒聊] 投入 生成式AI / GPT 的顯卡選購建議

oopFoo04/21 12:20ARC a770(16GB)入門好選擇，越來越多的支援。如果你會玩

aegis4321004/21 12:24ARC也支援了OpenACC想跑氣候分析的也可以玩玩看

kamir04/21 12:42哦，我用練好的就好了

pp52004/21 12:43的確!你說的沒錯，VRAM 就跟入場券一樣

KarlJhan04/21 12:43推 感謝分享

pp52004/21 12:44stable Diffusion 越做越複雜，後面 8G VRAM

pp52004/21 12:44快撐不住了，外掛太多好用的功能

yenchieh110204/21 12:45Vram至上!

pp52004/21 12:46VRAM不足，速度再快也是無用武之地

pp52004/21 12:46連打開城市的資格都沒有

pp52004/21 12:47 程式

uemo61004/21 13:04AI繪圖=盜圖

bettle146104/21 13:18一個大VRAM且相對新卡便宜的選擇是 3090 Ti，3090 跑

bettle146104/21 13:18 diffusion 超燙

mrme94504/21 13:213090Ti量太少了，不然的確是比3090好很多的選擇

oppoR2004/21 13:243090是真的燙 可以煮飯的那種

bettle146104/21 13:31不過 4090 真的很強，用3090 Ti 70% 的功耗還加速 1.6

bettle146104/21 13:31 倍以上，本人親測，根本北極熊救星

Sartanis04/21 13:37學對岸魔改2080Ti 22GB好了XD

odanaga04/21 13:38vram大 就是王

et178304/21 13:57還可以研究看看webllm，為A卡打開一扇窗

soulgem04/21 14:2923G VRAM... 好吧, 對於 GPU 程式好像沒有 12+12 當 24..

soulgem04/21 14:33其實不喜歡模型越搞越大變成計算軍備競賽的趨勢...

soulgem04/21 14:34(還是會用繪圖卡, 雖然慢, 但是可以在相對價格搞到 VRAM)

ZMTL04/21 14:56能放到家用電腦跑的，目前已經都是「縮小」的模型了(文字部

ZMTL04/21 14:56份啦

soulgem04/21 15:0424G VRAM 繪圖卡就對不到價了, 這就沒辦法 XD

vsbrm04/21 15:19跑stable diffusion ,so-vits-svc 這些，選4090還是很有優

vsbrm04/21 15:19勢，如果只是玩看看，8G VRAM的顯卡慢慢跑就好了，不用特地

vsbrm04/21 15:19去換

creepy04/21 15:23HF也有GPT-2的模型 預訓練好的model應該都不用太多vram

ms031792904/21 15:283090到底跑起來要不要去改散熱那種東西啊？

creepy04/21 15:29沒有持續一直跑 限縮瓦數上限 可以不用

ZEYU04/21 15:46A卡是不是完全不用考慮阿

Aeryzephyr04/21 16:134090只怕線燒毀...

Aeryzephyr04/21 16:15目前我還是用2070s的8g在算圖，8g是一個底限

Aeryzephyr04/21 16:16實際玩起來還行，只是放大不方便用內建的高解析修正..

Aeryzephyr04/21 16:19只是算圖實在覺得慢，過陣子還是會購入4090

yenchieh110204/21 16:274，現在AI都基於N卡在發展，要玩就是N家最好用

tsubasawolfy04/21 17:12目前都在N卡上發展，不過微軟前幾天丟出新聞說他們

tsubasawolfy04/21 17:12有打算自製AI專用晶片去應付更大的需求。Project A

tsubasawolfy04/21 17:12thena 從2019開始應該要端出什麼東西來了

trywish04/21 18:37A卡能跑AI，我跳的時候，要訓練lora還做不到。至於速度？

trywish04/21 18:38rx5700也不算慢了，但因為vram不足，所以壓低效能就慢到

trywish04/21 18:38哭。真的要玩的確N卡比較好，但A卡還是可以玩，只是真的

trywish04/21 18:39vram要12G以上。lora現在那麼容易抓，其實也沒必要自己去

trywish04/21 18:40練。主玩遊戲，偶爾跑AI，A卡就夠了。兩者並重，N卡較佳

trywish04/21 18:40想跑訓練，vram 24G比較好。

trywish04/21 18:44另外預算也不用80k，4090才56K，折價下來都剩51左右，掛

trywish04/21 18:45個power 3~5K。CPU在玩遊戲才會出現瓶頸。單論跑AI還好。

trywish04/21 18:46所以大概55K~60K就能搞定。

jaspergod04/21 22:20webllm有沒有中文不錯的...之前測一個opt-13b感覺還不

jaspergod04/21 22:20太能用... 搞半天玩沒幾下就關了XD 感覺還有段路要走

jeffguoft04/22 00:44前陣子也直上3090了，玩AI 12G絕對不夠用

ZMTL04/22 01:03聽說，聽說，Colab要開始限制跑SD又沒付錢買pro的了

ZMTL04/22 01:03Reddit上正在討論

suitup04/22 11:33一樓馬上兩個跑出來推770是怎樣

ronald27904/22 11:48推

ronald27904/22 11:49a770跟a卡沒辦法吧 好狠

Aeryzephyr04/22 12:20千萬不要買N卡以外的顯卡，除非你非常想除錯練經驗值

soulgem04/22 16:42stablelm 可以 12+16 > 24... 感恩, torch 基礎可能可以.

soulgem04/22 16:52語言模型+torch 基礎的感覺高機率可以兩三張抵一張...