Re: [討論] AI晶片

※ 引述《waitrop (嘴砲無雙)》之銘言
: 現在業界單純說AI晶片是太籠統的說法了，
: 為了獲得最高效能與最高CP值，

多嘴插句話，除了Training跟Infer差異外，其實真的要細分還有從硬體、軟體的優化，從最上層到底層跟硬體的結合才能夠把edge computing提升到產品落地階段。

像是閣下說的自然語言這塊把Transformer從軟體層面做降維優化、新一代更輕量的CNN模型，還有既有的半精度FP8這種跟指令集優化，另外這幾年學界比較有研究的從Complier上做優化通用矩陣乘法。

我反而不覺得有所謂電子垃圾這一回事，這塊目前還是一個沒有一統江山的通用規範出來反而是有很多值得嘗試的空間。

最後，真的有辦法解決就是找到一個新的通用矩陣乘法可以並行化同時讓時間複雜度跟計算複雜度降到最低，這個目前數學家找了十多年都不一定可以找到了，所以大廠才會想從指令、硬體下手優化。

大概4醬~

--

先說一下這塊的發展不見得是沒有應用，而是如果你要考慮transformer based的model計算 量就很龐大了，即使做在雲端都很吃資源，我這邊業界經驗即使是NLP領域當前如果有速度 效能限制多半會有一個陽春的模型像CNN based做Teacher-Student Model來壓縮進去，當然 精度一定會降。然後其實這塊當下學界還是有人在研究的，只是要落地變產品恐怕也不是一 兩年之內，Transformer based Model也不僅限制用在自然語言啦~像CV還有語音辨識這幾年 論 文也被證明有優勢做得起來了，所以能實作到邊緣端肯定有應用空間的。