Re: [請益] 其他軟硬體公司會聯合鬥Nvidia的壟斷嗎？

@@ 其實老黃的情況跟台積電有點像 單顆gpu快 蘇媽已經示範給你看過了
最大問題是整個node-to-node cluster-to-cluster 平行串連 也就是所謂的scale
一堆gpu連起來時候 一堆問題就會出現 LLM inferece端都要拆解不同
cluster-to-cluster運算 LLM一個回答問題還拆解prefill和generation兩個不同cluster( https://blog.csdn.net/qq_32204441/article/details/139483688 )

這種就是考驗整個data center軟硬大結合 老黃整個社群 使用者都一起幫他debug
你可以看LLAMA2 報告說道 h100在萬顆結合時 各種bug
meta infra team後來都優化解決掉 那些bug都是會回饋給NVDA 像是溫度多少 幾顆以上會以一起崩 如何用分配computation pressure loading 傳輸速度怎樣優化避免崩等等

這塊就是AI Infra 在業界Infra是個大工作崗位 現在AI Infra都是基於NVDA規格
去優化 像是Linkedin自家再推Liger Kernel AI Infra
https://github.com/linkedin/Liger-Kernel
https://pytorch.org/blog/peak-performance-minimized-memory/

OpenAI Triton也是AI Infra 優化 Stanford課程甚至都用Triton (Cuda框架)
https://stanford-cs336.github.io/spring2024/ (assignment 2)
馬上貢獻大學生免費debug ai infra仔給老黃
(偵測bug貢獻 大概都會像是這種
https://github.com/NVIDIA/cuda-samples/issues )
蘇媽的
https://github.com/ROCm/ROCm/issues @@ 一堆under investigation....
慘不忍睹...蘇媽QQ 加油....

當你一堆萬人陪你練功 這玩意就是護城河 你看i皇/*** 為啥追不上台積 就是有客戶
陪他練功 @@ AI infra也是 比單顆快 誰都可以 比到data center成面 就很難

連DeepSeek自己的 低成本訓練框架 也是基於cuda底層重寫的AI infra

現在在搶用戶黏度下 同樣模型 晚點推出 就失去市場 @@ 整個生態全幫你收集各種bug
你叫其他廠怎樣打 唯一的可能對手就是對岸 所以老黃賣低階晶片才能鎖對岸

總結 算力晶片不在於單科 而是整個大系統 長時間效能 這需要大量社群幫忙debug
老黃的護城河就是從2012 AlexNet開始的護城河 或者更早可追朔到2006....

現在高中生都在寫AI Infra/算法 @@ 你諸位不害怕嗎 漫畫世界高中可以打贏成人世界
在AI界已經成真了 不限年齡大混戰 小學生都可以參賽了......

※ 引述《Shiva (Shiva)》之銘言：
: 挑戰者不少吧，也不是最近才出現
: 大公司組AI大聯盟：
: Meta、IBM 發起 AI 大聯盟，Intel、AMD 等 50 個企業組織也共襄盛舉
: https://tinyurl.com/yjmn4pyp
: 將開發人工智慧評估標準與相關工具資源，藉此協助更好的人工智慧系統開發。
: 一起建立新標準，直接訂標準給大家follow，超給力有夠生猛
: 要贏Nvidia大概沒那麼快，但是陣仗也不小了
: 也有宣稱打趴Nvidia的小公司：
: 出現勁敵了！加州新創公司開發新晶片 比輝達快20倍
: https://tinyurl.com/pkpswsh9
: 速度比輝達GPU快20倍，連超微和英特爾也望塵莫及
: Cerebras速度超快，科技業要的不就是這個？
: Nvidia AMD intel有壓力嗎？
: 黃仁勳反抗軍來了！藏身竹科、內湖小廠，晶片效能比輝達強2倍
: https://tinyurl.com/2vundffn
: 創鑫「反黃仁勳」的台灣戰隊
: 直接組戰隊反黃仁勳，應該在這領導下台灣隊殺爆Nvidia了吧？
: 台灣小粉綠藍白黃一起喊殺聲衝衝衝，頭也不回直接碾過去了吧？
: 新秀創鑫智慧，它憑什麼能在「高能效」打敗 NVIDIA
: https://tinyurl.com/z2u7vcdr
: 打敗輝達（NVIDIA），成為世界第一能效的 AI 加速平台
: 能效世界第一！電力有限產能有限，世界各廠還不跪著求晶片嗎？
: CUDA生態系統是不是有危機了？
: ※ 引述《nissan168 (pingGO)》之銘言：
: : 我是看完黃仁勳的自傳，再扒了文章後。才知道黃仁勳在2007年就佈局Cuda的平台，現在
: : 是軟體、硬體都形成生態鏈，才會讓Nvidia變成AI時代的發動引擎。
: : Intel、AMD、蘋果、谷歌、微軟、亞馬遜、臉書、特斯拉...這些大公司，怎麼可能接受
: : 一家獨大！
: : 他們有再開發一套公開的平台，來進行反向傳播演算法嗎？
: : 現在的AI都是建立在辛頓演算法的基礎上。
: : 每年要花幾百億美元給Nvidia？
: : 未來都這樣？
: : 都沒有公開的平台規則，讓所有人都可以用嗎？

--