PTT評價

Re: [討論] AI晶片

看板Tech_Job標題Re: [討論] AI晶片作者
sheepmanager
(AI專家)
時間推噓19 推:27 噓:8 →:70

這我來回答吧
AI晶片一般是指用來加速深度學習模型推理的晶片
如果是訓練通常還是利用Gpu 因為生態系比較成熟

那麼深度學習推理時間會耗在哪裡呢
通常就是convolution 或是Gemm
當然convolution 可以透過線性代數幾次的轉換
變成gemm 這也是一門學問
所以矩陣相乘等於是最重要的運算了
你只要能加速這麼簡單的東西
就能號稱你在做AI晶片了
不斷的堆硬體上去 性能就出來了
甚至有些公司走火入魔
連非矩陣運算的指令都做了

因為深度學習的模型越來越大
所以並行去運算矩陣相乘就是很重要的事了
你的硬體並行時 耗電跟降頻做得夠好的話
就能有點能見度了 現在中國的新創沒有一家做到的
所以就有一些人腦袋動到光計算上面
訊號轉成光能計算 算完再轉回電
但這非常的不穩定 基本上也是不可能回收成本

好了 你說這麼簡單的話 那也很容易啊
然而 深度學習在運行過程中 還有一個很大的耗損
就是算子與算子之間的資料傳輸
用硬體加速過後 每個算子的時間大幅縮短
但是彼此之間的memory copy仍然耗損嚴重
於是cache或是local memory變的異常重要
算子與算子之間的fusion做得好
搭配上速度夠快又大的memory基本上也很厲害了
中國那一堆新創耗電降頻不行
現在就往這方向拼命做

那麼AI晶片前景怎麼樣呢
老實說 前景是死路一條
CPU GPU 大公司都在從自家指令來優化模型
或是直接配上特殊資料格式 如tf32 fp8
華為的c4比起來就是個花拳繡腿 還推行不起來

我現在底下50多人就在做未來的方向
從模型優化演算法 記憶體策略 框架
到底層assembly加速 完整的一套方案
如果你有關注一些新的paper
優化到最後 對比常用硬體 AI晶片根本沒有優勢
就像挖礦沒有收益時的礦機一樣
純電子垃圾




※ 引述《QQmickey》之銘言
: 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的
: 自己也是理工背景 但是想問科技版的大大們
: 這是真的嗎?
: 我所學的 覺得不太可能
: 雖然很多事很難講 已知用火
: 諾貝爾物理獎也一堆錯的
: 難道是神學

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.76.1.30 (臺灣)
PTT 網址

WTF1111 09/18 01:07推!

djboy 09/18 01:11

QQmickey 09/18 01:16電子垃圾那幹嗎做??大數據之前就有了

QQmickey 09/18 01:20而且優化到最後ai不是會自算嗎??

blacktea5 09/18 01:27

labbat 09/18 01:34疑惑?哪個做AI晶片的不最佳化暫存器不最佳化快取的

domyutmost 09/18 01:49請問最近Graphcore的IPU有搞頭嗎?

outzumin 09/18 01:58老闆請問有缺人嗎?

LLSGG 09/18 02:01

snow10725 09/18 02:19謝謝補充說明

zxp9505007 09/18 02:32

x3795566 09/18 02:53有缺人嗎(舉手

Colac5566 09/18 03:01說穿了Ai晶片只是GPU的subset

Colac5566 09/18 03:03GPU DSP VPU NPU TPU 科科

gg15ffgg15ff09/18 03:35用asic做不贏gpu cpu based的ai晶片,倒一倒算了

Morphee 09/18 03:42BIREN的BR100/BR104 你評價如何?

mmonkeyboyy 09/18 04:33ASIC做不贏收收會好點 現在問題不是做不贏 是時候還

mmonkeyboyy 09/18 04:33沒到

iamala 09/18 06:10唉,將帥無能累死三軍就是這樣...明明能賺錢的東東

iamala 09/18 06:10自以為垃圾

dixsion 09/18 07:11

brightest 09/18 08:56大公司都有AI processor 像tpu等 cpu/gpu/tpu很難

brightest 09/18 08:56互相取代

aas5566 09/18 08:57同意樓樓上

aas5566 09/18 08:58你自己不行 希望你底下的人能取代你

SMIC5566 09/18 09:06看不出是真的還是唬爛的 只看的出想被喊"大大你好厲

SMIC5566 09/18 09:06害"哈

gn01216674 09/18 09:09你意思是給你50人,然後你做出垃圾嗎

gn01216674 09/18 09:09你哪個部門說一下 我不敢去...

imreader 09/18 09:17推電子垃圾

birdyman 09/18 09:35這個人的文章 可信度存疑 給噓

leoloveivy 09/18 10:02MIT 韓那個lab看一看抄一抄搭上台積電很難嗎

lunasdejavu 09/18 10:08那個未來的方向早就做好幾年了,一聽就知道你不是那

lunasdejavu 09/18 10:09方面背景的,只是年資長就被不懂的人資抓去當大頭

sheepmanager09/18 10:10呵 好幾年 怎麼減小transformer的sequence說來聽聽

sheepmanager09/18 10:10 你有top conference嗎

sheepmanager09/18 10:27這種優化還要搭配硬體 PTT臥虎藏龍啊 還能早好幾年

sheepmanager09/18 10:27做出新硬體並軟硬配合 看來data center cpu gpu

sheepmanager09/18 10:27都是台廠天下了 但市佔率好像是0欸

sheepmanager09/18 10:28美國做這類的新創去年才出來 都沒有ptt的厲害 嘴巴

sheepmanager09/18 10:28超越加州

abc85216923 09/18 11:21推 好心

OBTea 09/18 12:50考慮效能也要考慮功耗和資源,要這樣說影像壓縮用軟

OBTea 09/18 12:51解,理論上目前廣用硬體也可以超越專用硬體

OBTea 09/18 12:52目前純AI晶片台灣也不是排在前面的,資料中心沒有台

OBTea 09/18 12:53廠晶片也很正常

hank780420 09/18 13:02專用硬體架構輸CPU GPU硬幹 你有沒有想過會不會輸的

hank780420 09/18 13:02是做的那個人

sheepmanager09/18 13:11google的gpu要求可是白天運行遠端遊戲 晚上才跑AI

sheepmanager09/18 13:11 專用硬體做得到嗎 又不是做了AI功能大家就會買單

sheepmanager09/18 13:12當然google不會這樣要求自家的東西 但是晶片公司處

sheepmanager09/18 13:12境就是這麼坎坷

hank780420 09/18 13:21你該不會只知道用CMOS硬幹吧 這樣當然輸大廠

sheepmanager09/18 13:43講的都不是同一個東西你也能回

lunashining 09/18 14:15會講TOP Conference就知道是外行了,重要東西都公司

lunashining 09/18 14:17內部自己做誰會去公開重要的東西,再來近年論文品質

lunashining 09/18 14:18越來越水,不是拿簡單dataset東西做看起來高難任務

lunashining 09/18 14:19就是隨便接個transformer performance看起數字變好

lunashining 09/18 14:20就行了,講美國新創還來這邊留言不會是在sifive做吧

shanks2012 09/18 14:21觀念不太正確

sheepmanager09/18 14:26噗 nvidia跟微軟都是外行 你們公司最內行

lunasdejavu 09/18 14:28不要講這麼多把你們家MLPerf數據貼上來看阿 呵

sheepmanager09/18 14:31呵呵 想釣人? 我們MLPerf數字蠻多的啦 然後呢 給

sheepmanager09/18 14:31你看幹嘛 讓你去歐兔徵友?

lunasdejavu 09/18 14:33這樣就怕啦XDDD 只說多就是排名不高,敢出來在網路嘴

lunasdejavu 09/18 14:34一定不是大公司的,八成就是待過大公司跳到小公司

lunasdejavu 09/18 14:35或竹北中資騙騙錢那種等級的

sheepmanager09/18 14:35呵呵 讓你酸又不要緊 我可不想被認出來 比起一個徵

sheepmanager09/18 14:35友徵四年的人 我還是蠻注重隱私的

followwar 09/18 14:52講top conf外行? 不如你先說自己發幾篇吧 不是很水?

followwar 09/18 14:57不公開 整個社群哪會進步? github都是佛心來的?

chang1248w 09/18 15:38確實挺佛心的

thiy71 09/18 16:43先贏得了耐能再來說嘴

Colac5566 09/18 18:19口憐喔,還沒退休...

hank780420 09/18 19:03就連不是做電路端做材料的都知道你講的問題解答在哪

hank780420 09/18 19:03你到底多久沒看文獻...

sheepmanager09/18 20:28哇你知道問題解答在哪好厲害 Nvidia的秘密都被你挖

sheepmanager09/18 20:28出來了 NV記憶體存取的專利就是這產業最有價值的東

sheepmanager09/18 20:28西 你看看文獻就能找到 intel amd的人都不如你呢

sheepmanager09/18 20:28想必是個fellow吧

sheepmanager09/18 20:30Raja Mike hong 都解決不掉的問題 你查文獻就能查

sheepmanager09/18 20:30到欸 奇才啊

sheepmanager09/18 20:32啊不對 連jim keller 這種傳奇人物都沒處理掉這問

sheepmanager09/18 20:32題 你一個材料專業的人吊打這些大神喔

sheepmanager09/18 20:39連citadel這種頂級投行找了專業的人去研究nv硬體的

sheepmanager09/18 20:39行為 最後的分析報告也沒能觸碰到核心 你說看文獻

sheepmanager09/18 20:39就可以了 太神了

IdenTits 09/19 09:31我也不看好 XD

leo61532 09/19 21:17他就是之前工作十年 美商主管職哥啊 呵呵

mmonkeyboyy 09/20 01:12Top conference 都嘛做完 賺完錢去秀肌肉的

mmonkeyboyy 09/20 01:16現在問題是market 做了要賣誰? 做了會不會被卡 能

mmonkeyboyy 09/20 01:16做AI針對某NN專用IC的公司數起來都沒幾家

shikemurajy 09/20 01:17Special purpose的電路效能會輸general purpose,

shikemurajy 09/20 01:17聽起來就不合理

mmonkeyboyy 09/20 01:18TVM卡了好一陣了 說實話概念好 但很難推

mmonkeyboyy 09/20 01:19是啊 但誰會那麼做 那來市場可賣?

mmonkeyboyy 09/20 01:22Top conference 硬體相關的一堆都在玩bit … 壓縮

mmonkeyboyy 09/20 01:22XD 做NN也ㄧ堆搞這個…. 真正做AIC的人都知道這不是

mmonkeyboyy 09/20 01:22這樣搞啊

vlstone 09/21 00:20推!

sheepmanager09/21 15:07誰跟你比電路效能 最後都是整網性能下去看 硬體性

sheepmanager09/21 15:07能再強也強不過直接從模型優化

mmonkeyboyy 09/22 05:18現在都是ㄧ起做好嗎? 這也是很多公司搞得不上不下

mmonkeyboyy 09/22 05:18死在沙灘上的原因