[閒聊] 從什麼時候開始AI能力綁定GPU的算力？

mayolane05/30 15:06你隨便去找個科普影片看就不用問了

kuoyipong05/30 15:06GPU就是擅長做大量重複的事情的計算單元

emptie05/30 15:07啊，GPU能算的東西你丟CPU也算得出來啊，跑不快而已

mayolane05/30 15:07https://youtu.be/h9Z4oGN89MU 這片吧

kuoyipong05/30 15:07AI在訓練的時候GPU比CPU方便很多

emptie05/30 15:07這些比較專門的計算硬體會出現也是因爲人們發現什麼都丟給

emptie05/30 15:07CPU不是個好主意

yniori05/30 15:08這邊不是西洽閒聊嗎？什麼都去看科普影片，就不說科普影

yniori05/30 15:08片是不是都對的問題了，每個網友想法不一樣才是有趣的地

yniori05/30 15:08方

meatybobby05/30 15:08從一開始吧 AI的演算法很早就出現了 但是GPU出現才開

meatybobby05/30 15:08始真正做出東西

BOARAY05/30 15:08不是從挖礦的時候就知道了嗎

emptie05/30 15:10那些演算法的理論雛形比老黃把他的3D加速卡命名爲GPU的時

emptie05/30 15:10間點還早就是了

e5a1t2005/30 15:10大概17年前 Nvidia開始推CUDA後

ltytw05/30 15:11中間有一段時間是挖礦算力 嘻嘻

yniori05/30 15:15有趣的是挖礦算力居然最後會變成AI算力

k1279505/30 15:172012 alexnet

GreenComet05/30 15:19反過來吧 是因為有GPU deep learning 才玩的起來

kayliu94505/30 15:20不知道 什麼時候？

bnn05/30 15:21不是GPU算力 是人類把計算這件事拆解成一堆(乘法+加法)

bnn05/30 15:22剛好這運算平常就是計算遊戲顯示三角形之類的在用 拿GPU現成

kirimaru7305/30 15:22因為成功的是類神經網路 這東西1970年代就有了

bnn05/30 15:22你也可以改用tensor算法或是量子算法 GPU就無能為力了

kirimaru7305/30 15:22然後被當成屎 因為誰家的CPU有那麼閒去浪費時間

kirimaru7305/30 15:23類神經網路的擁護者浪費一堆時間只能交出屎一般的成績

kirimaru7305/30 15:24科技發展很容易在死路裡繞 有時候就是還沒想到

kirimaru7305/30 15:24GPU也是發展了一段時間後才發現可以拿來幫忙浪費時間

linzero05/30 15:25成本考量下的功能特化演進

GreenComet05/30 15:26深度學習本質就是矩陣運算 剛好就是GPU的強項

bnn05/30 15:26如果GPU沒被當成顯示卡來賣 搞不好沒人砸錢TO個純計算晶片

bnn05/30 15:27媽哩誰砸錢就拿來算這東西 研究怎麼花錢把一堆CPU平行串起來

kirimaru7305/30 15:27現在有TPU 不畫圖了 從生下來到被燒死之前只負責計算

linzero05/30 15:27設計CPU時是有太多功能要他能達成，GPU則是處理特定範圍

linzero05/30 15:27工作

bnn05/30 15:27買別人做好的CPU再研究網路分散計算比較便宜(ry

kirimaru7305/30 15:27不過他也沒厲害到可以讓GPU從市場上消失

bnn05/30 15:28那時候好像很多網路切工作幫忙背景分散計算的鬼計畫

bnn05/30 15:29姑且還是演化成後來的多核心多執行緒工作拆分這些都有意義啦

kirimaru7305/30 15:29AI發展史可以簡化成一句話

GreenComet05/30 15:29有啊 PS3的蛋白質研究就是一種

kirimaru7305/30 15:30人類發現計算量多到跟鬼一樣後就出現類似智慧的東西了

kirimaru7305/30 15:30中間的原因還沒有完全解明 但現實就是如此

bnn05/30 15:30重點是人類現在也還是用之前的拆分經驗來分散計算工作 沒虧啊

kirimaru7305/30 15:30如果人類是發現「另外一種方式」出現類似智慧的東西

kirimaru7305/30 15:31那就會把資源全部往「另外一種方式」丟下去

bnn05/30 15:31網路速度不夠卡住了傳輸計算 就提升網路協定和硬體縮短距離

kirimaru7305/30 15:31分散式計算系統可以募集很多聽起來很酷炫的計畫

bnn05/30 15:32一個大晶片散熱會燒起來 就拆分工作多個串連分散工作

kirimaru7305/30 15:32例如只要借用你電腦／主機一點點的深夜時間

kirimaru7305/30 15:32我們就可以研究癌症的解藥，或是尋找外星人......

bnn05/30 15:33證明了計算需求量這麼大 大到靠北 就有計畫可以募錢下Tapeout

kirimaru7305/30 15:33稍微講仔細一點 不是無腦堆計算量就可以產生智慧

kirimaru7305/30 15:34怎麼樣用腦來堆計算量是那群研究者持續努力的目標

bnn05/30 15:34就跟現在有人沒錢下tapeout 跑去控制記憶體協定拿來計算

GreenComet05/30 15:34類神經網路就模仿生物的大腦機制 除非有生物學新突破

GreenComet05/30 15:34或新物種或有人被雷打到 不然很難有新機制

kirimaru7305/30 15:34不過重點就是要有鬼計算量 一定要跟鬼一樣

kirimaru7305/30 15:35你有時會聽到GPT訓練需要數億年CPU計算量 那並非謠言

kirimaru7305/30 15:38至於目前最強的架構是什麼 現在有一個進行中的賭局

kirimaru7305/30 15:38幾個大頭用公司股份去賭Transformer是不是無敵的

kirimaru7305/30 15:38有人相信Transformer以外的東西都要廢除

kirimaru7305/30 15:39也有人努力要幹死Transformer

bnn05/30 15:44問就是量子電腦終將吹飛這些線性系統(X

kirimaru7305/30 15:45或許會有一種未來 一般民眾人手一張TPU

kirimaru7305/30 15:45在把所有AI工具當狗操的同時還用它來玩所有的酷炫遊戲

kirimaru7305/30 15:46照目前TPU的發展來看 應該不太會是這樣

vios1000905/30 15:47鼯鼠五技而窮 騰蛇無足而飛，GPU就是為此誕生的

kirimaru7305/30 15:49GPU被斷法(無法平行運算)時 他的脾氣也是出了名的臭

syldsk05/30 15:52目前人類想要的結果是用GPU比較容易生出來啊

flydogzzz05/30 16:02cpu勞力腦，gpu天才腦

sokayha05/30 16:03AI實現當初有兩個派別 一個是用邏輯判斷去堆 一個是類神

sokayha05/30 16:03經網路 前者比較直覺也感覺有可行性 後者的硬體成立條件

sokayha05/30 16:03當時想說需要很久之後(cpu多執行緒)。 但結果摩爾定律快

sokayha05/30 16:03速撞極限 前者限入僵局 後者卻因為cuda默默做了一段時間

sokayha05/30 16:03被類神經網路派別發現剛好是渾然天成的載體 所以風向就整

sokayha05/30 16:03個反轉

sokayha05/30 16:05但類神經網路派別是黑盒子 輸入輸出中間過程不容易可控

sokayha05/30 16:06所以這條路線伴隨著AI不可控的高度風險

kirimaru7305/30 16:13舉個例子 如果哪天AI醫師上線 結果偶爾會醫死一般病患

kirimaru7305/30 16:13那這就會是一個必須要處理的問題

kirimaru7305/30 16:14如果這個AI醫師是神燈精靈那種東西（舊時代真的有人研

kirimaru7305/30 16:14究那種類型的醫療諮詢系統） 那就會比較容易尋找問題

kirimaru7305/30 16:15不過如果是大型類神經網路 那問題就很難找了

kirimaru7305/30 16:17現實更合理的做法是 永遠不要讓AI去當什麼主治醫師

sokayha05/30 16:21但人類一代一代重新學習累積知識經驗成本相較機器實在太

sokayha05/30 16:21沒效率 所以人類還是會想走AI接管這條路:~

terry762705/30 16:49cpu：一個博士生解1萬道小6數學題

terry762705/30 16:49GPU：一萬個小6生解1萬道小6數學題

EcHENGx198205/30 17:15https://youtube.com/shorts/2AD1yV7jtZ0?si=I3mbJnJ

EcHENGx198205/30 17:15A2aRX_RoQ

bluejark05/30 18:32萬惡的老黃

chang1248w05/30 18:34從2014 alexnet

dg715805/30 19:11https://youtu.be/ZDvdK6Y8bms?si=XbP-tzmudiRw9F9k

dg715805/30 19:12總裁這集講的還滿好懂的