[情報] MI300X vs H100 vs H200測試&分析 - semi
標題：
MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive
內文：
此篇為semianalysis 測試5個月比較
MI300X H100 H200實際使用的效能以及使用上的現況
下面放上作者的發現總結，詳細請看文章
1. 在紙上比較 FLOP/s 和 HBM 頻寬/容量類似於僅透過檢查百萬像素數來比較相機。判斷?
2. Nvidia 的開箱即用效能和體驗令人驚嘆，我們在基準測試期間沒有遇到任何 Nvidia 特
3. AMD 的開箱即用體驗非常難以使用，需要相當大的耐心和努力才能達到可用狀態。 在我們的大多數基準測試中，AMD PyTorch 的公共 AMD 穩定版本仍然存在問題，我們需要解決方法。
4 如果沒有多個 AMD 工程師團隊對我們遇到的 AMD 軟體錯誤進行分類和修復的支持，AMD 的結果將遠低於 Nvidia。
5 . 我們與 Sustainable Metal Cloud 合作在 256 H100 上運行非官方 MLPerf Training GPT-3 175B，以測試不同 VBoost 設定的效果
6. 對於 AMD 來說，公開穩定發布的軟體的真實世界性能與其紙面銷售的 TFLOP/s 相差甚遠。 Nvidia 的現實世界表現也低於其行銷 TFLOP/s，但相差不大。
7. 與 H100/H200 相比，MI300X 的總擁有成本 (TCO) 較低，但在 AMD 軟體的公共穩定版本上，MI300X 的每 TCO 訓練效能較差。如果使用 AMD 軟體的客製化開發版本，情況就會改變。
8. 訓練效能較弱，MI300X的矩陣乘法微基準測試表明，AMD公開發布的軟體在單節點訓練吞吐量上仍落後於Nvidia的H100和H200。
9. MI300X 的效能受到 AMD 軟體的阻礙。 BF16開發分支上的AMD MI300X軟體具有更好的效能 ，但尚未合併到AMD內部儲存庫的主要分支中。當它合併到主分支和 PyTorch 穩定版本時，Nvidia Blackwell 將已經可供所有人使用。
10. AMD 的訓練表現也受到阻礙，因為 MI300X 無法提供強大的橫向擴展效能。這是由於與Nvidia 對其Nvidia 集體通訊庫(NCCL)、InfiniBand/Spectrum-X 網路結構和交換器的強大整合相比，其ROCm 計算通訊庫(RCCL) 較弱，且AMD 與網路和交換硬體的垂直集成程度較低。
11. 許多 AMD AI 庫都是 NVIDIA AI 庫的分支，導致結果不佳和相容性問題。
12. AMD 客戶傾向於僅使用手動製作的核心進行推理，這意味著它們在非常狹窄的明確定義的用例之外的效能很差，並且不存在快速轉移工作負載的靈活性。
-----
Sent from JPTT on my Google Pixel 7 Pro.
--
連H100都打不贏，好慘ㄛ
卒業
NV底層蹲了10年 其他人要幾年內追上也不容易
所以obov 早就把AMD 蛋雕
AMD是不是要在沙崙建研發中心? 難怪卒業預定
難怪教主跳車了
H100都已經過時產品還...
難怪aws 裡面的人說沒人要用AMD GPU是真的
簡單來說 AMD卒業
AMD今年還是負報酬
AMD就垃圾沒人要阿，整年還是跌的不是沒原因
amd軟體太差了，沒想到遊戲顯卡的nv driver值5000也
能套在AI上
教主殞落
GPU和AI沒一個能打
一個是已經有長遠計畫 一個只是模仿追尾 是要怎麼比
難怪AMD跌這麼慘...AI上面被海放!
真 遙遙領先
NV軟體值5000!驅動就看的出來了XD
Obov應該年初或Q1就把AMD 倒給小兒了
整合度相容度高，NV體驗完勝
這是什麼AI轉錄之後自動翻譯的文章嗎？
品質很差
Obov仍大賺，只漏掉tsla
AMD還是乖乖做PC CPU X3D和遊戲機SOC就好CC
驅動值五千QQ
陳先生你的科技水平太落後了
AMD電子垃圾 生產出來浪費電的
這驅動現在大概值500b
nv顯卡的驅動價格已經是過去式了XD
AMD看起來路還很長遠，看來都反映在股價上了
卒業
還好amd賣在190 嘻嘻
有第一買為什麼要買第二 NV 台G 無限資金買就對了
難怪AMD瘋狂烙賽
cuda豈是說繞就繞得過去的技術
不意外阿 ppt吹得多屌 實際就多烙賽
跟h100比報價有差？而且差滿多的？
AMD的cpu不是一堆人在搶？
amd還是回去顧好cpu就好吧 市佔都還沒贏過intel
星空大師終究還是趕來戰場惹
就想開這麼多條線 還打成這個樣子 花一堆錢在AI上
結果出這什麼垃圾
目前AMD強的是CPU 誰在吹AI跟GPU? 竹竿裝菜刀
不要最後把大半的錢砸在AI上 結果CPU也被打趴
畢竟CPU那邊也沒有說領先多少 一代可能被追上
AMD的AI跟GPU 只是希望就算落後 也不要差太多而已
星空大在幫呆兒自介歐
NVDL繼續抱！
牙膏給GG代工 CUP很快就可以超越AMD了拉
對呀 這代intel桌機也才第一代用台積電製程
當初AMD剛跟台積電合作時也一堆問題 下一代不就
爆發
連h100都打不贏快島一島
而且intel這一代架構還是用舊的 就MTL的改進版
驅動值5000梗又能用了嗎
主要是架構問題，CDNA3不太適合AI運算，等MI350才能
下一代完全新架構 amd只要不跟著大改進就會被打趴
改善
產能拿來做9800X3D比較實在啦
而且到時intel還有自家18A製程 選擇更為彈性
連CP值都輸 可悲啊 現在各家ASIC都搞起來了
AMD還能搶得到什麼？？
好險沒接AMD
難怪AMD崩崩
amd就每個市場都想分一杯羹阿 硬湊進來被打爛
真不知砸一堆錢搞這幹嘛
99AMD 卒業預定
教主已經轉倉*黃BG*了,已經逍遙去卒業寫生了
難怪a90灰心到連Ptt都不上了
卒
a90已經去退休環遊世界惹八，身家都十位數惹，連蘋
果工作都辭惹
簡單總結 NV屌虐
99amd
MI300很差是早已知了 看MI450有無機會分食Nvidia
amd又不能跑ai模型 買來裝飾的喔
這時間a90大概放假回台灣啦 回台灣的時候幾乎都不
上線的
amd未來價值不在gpu上
可是上個被A90說卒業預定的公司.......
爆
[情報] i皇瘋狂交叉測試證明實際全部不輸RyzenIntel 花了大量時間交叉評測，只想證實無論筆記型或桌上型 Core i 對上 Ryzen (在實際 使用)並沒有輸 —![[情報] i皇瘋狂交叉測試證明實際全部不輸Ryzen](https://i.imgur.com/zwyJvt0b.jpg "[情報] i皇瘋狂交叉測試證明實際全部不輸Ryzen")
57
[情報] AMD官宣RX 6000對RTX 3000有輸有贏的效能AMD 希望玩家再挑選 GPU 時能有更多的參考指標 因此由 AMD 內部實驗室以 AMD Radeon RX 6000 系列 GPU，進行 11 款遊戲 1080p / 1440p / 2160p 等解析度進行效能測試 並且與對手 NVIDIA RTX 3000 系列顯示卡進行「效能」與「性價」的比較。 AMD GPU Comparison Tool：amd.com/en/gaming/graphics-gaming-benchmarks![[情報] AMD官宣RX 6000對RTX 3000有輸有贏的效能](https://i.imgur.com/NRtl9Zzb.jpg "[情報] AMD官宣RX 6000對RTX 3000有輸有贏的效能")
43
[情報] AMD承認無法復刻NV顯卡的成功:走自己的路N卡軟體好 AMD承認無法複刻NVIDIA顯卡成功：走自己的路 在顯卡市場，AMD與NVIDIA是目前主要的兩家高性能GPU供應商 其中NVIDIA極為強勢，不論遊戲卡還是加速卡市場上都壟斷性優勢 AMD的顯卡性價比高，但正面競爭難度很大。 NVIDIA顯卡到底強在哪裡？還是讓競爭對手AMD來評點吧![[情報] AMD承認無法復刻NV顯卡的成功:走自己的路](https://img1.mydrivers.com/img/20220919/ddfcd7d7b0ee45a8a025fda84de79829.jpg "[情報] AMD承認無法復刻NV顯卡的成功:走自己的路")
50
[情報] 4070ti在圖形渲染打敗3090tiOctaneBench 並不是遊戲基準測試，而是圖形渲染引擎，支援 NVIDIA CUDA 或 Intel / AMD 硬體渲染。這個渲染引擎在 NVIDIA RTX 顯卡上面有不錯的效能，有支援 RTX 加速 ，無疑前幾名都是該系列，包括 RTX 4090 和 RTX 4080 型號。最近， RTX 4070 Ti 的 分數也曝光了。![[情報] 4070ti在圖形渲染打敗3090ti](https://i.imgur.com/CtNoRAKb.jpg "[情報] 4070ti在圖形渲染打敗3090ti")
37
[問卦]AMD也可跑ai，為何大家的目光都在老黃那？這個地球有兩家主流GPU廠商AMD跟NVIDIA 就遊戲來說AMD的顯卡效能不差![[問卦]AMD也可跑ai，為何大家的目光都在老黃那？](https://img.youtube.com/vi/We71eXwKODw/mqdefault.jpg "[問卦]AMD也可跑ai，為何大家的目光都在老黃那？")
33
[情報] 6600xt效能測試RX6600 XT 在 DX12 的 TimeSPY 中跟 RTX 3060 Ti 相比有將近 15% 的效能落差，而在 DX11 的 FireStrike 部分則是有 7% 左右的效能差異。 在光線追蹤效能部分，AMD 的光線加速器在效能上仍然與 NVIDIA 的 RT Core 有段落差 ，即便是使用 Direct Raytracing 技術的測試項目，MSI Radeon RX 6600 XT GAMING X![[情報] 6600xt效能測試](https://img.youtube.com/vi/_tDYu5sBtFs/mqdefault.jpg "[情報] 6600xt效能測試")
19
[閒聊]AMD顯卡可以跑CUDA程式，那就不必特地買N之前新聞 NVIDIA CUDA通過多年耕耘，鑄就了牢不可破的生態壁壘，外人各種嘗試都無法進入，包 括AMD ROCm開發平台，但其實也不是沒有辦法。 開發者Andrzej Janik就憑借一己之力，借助Intel oneAPI，開發了CUDA兼容方案“ZLUDA![[閒聊]AMD顯卡可以跑CUDA程式，那就不必特地買N](https://img1.mydrivers.com/img/20240216/6afa4966af674a5184f0fadd6f9c5093.png "[閒聊]AMD顯卡可以跑CUDA程式，那就不必特地買N")
21
[閒聊]AMD強調Radeon顯卡同級VRAM更大並有更好AMD 強調 Radeon 顯卡同級 VRAM 更大並有更好的 1440p 遊戲效能 AMD 強調如今 AAA 大作在 2K、2560 x 1440 解析度時，需要 8GB 以上的 VRAM 獲得更 好的遊戲效能。AMD 則以 RX 6750 XT 12GB 對比 NVIDIA RTX 4060 Ti 8GB，同樣都是7
[情報] AMD重建DX11驅動程式，效能平均提升10%記得4月的時候 NVIDIA 發布了一段影片與文章 主要說明自家 Game Ready 的驅動程式開發與認證 花了很多時間進行測試以確保遊戲時穩定性 所以大多數版本都是 WHQL 認證，而非像對手 AMD 大多是 Beta 版。 說實在 AMD 的驅動確實不是太好，新遊戲推出之後通常會有版本更新以優化![[情報] AMD重建DX11驅動程式，效能平均提升10%](https://i.imgur.com/V0QSrnrb.png "[情報] AMD重建DX11驅動程式，效能平均提升10%")
5
Re: [問卦] AMD今天是在噴三洨 快10% 薯條能不能加大3/20 現主時 幫原PO QQ 你的薯條無法加大了 AMD直接一個破前波起漲和整理區間 AMD 的7%AI市佔接下來老黃就要全部吃光光了 MI300X 在Blackwell Platform面前 相形失色![Re: [問卦] AMD今天是在噴三洨 快10% 薯條能不能加大](https://i.imgur.com/4KO0hi7b.jpg "Re: [問卦] AMD今天是在噴三洨 快10% 薯條能不能加大")
爆
[標的] 台股有哪一隻股票，你想持有40年以上?![[標的] 台股有哪一隻股票，你想持有40年以上?](https://i.imgur.com/H4WTjKub.jpeg "[標的] 台股有哪一隻股票，你想持有40年以上?")
74
Re: [新聞] 美債殖利率 上看4.9%![Re: [新聞] 美債殖利率 上看4.9%](https://i.imgur.com/vKY86V9b.gif "Re: [新聞] 美債殖利率 上看4.9%")
64
[標的] 預計定期定額買到退休![[標的] 預計定期定額買到退休](https://i.imgur.com/yfIoNq2b.jpg "[標的] 預計定期定額買到退休")
68
[情報] 113年12月24日 三大法人買賣金額統計表![[情報] 113年12月24日 三大法人買賣金額統計表](https://i.imgur.com/nUcmn9Sb.jpg "[情報] 113年12月24日 三大法人買賣金額統計表")
50
[請益] 請問這是詐騙嗎![[請益] 請問這是詐騙嗎](https://i.imgur.com/nUsX25Zb.jpeg "[請益] 請問這是詐騙嗎")
30
Re: [新聞] 美債殖利率 上看4.9%![Re: [新聞] 美債殖利率 上看4.9%](https://i.imgur.com/V0jgbkOb.jpg "Re: [新聞] 美債殖利率 上看4.9%")
27
[情報] 1224 違約交割 零壹55
[情報] 1224 上市外資買賣超排行13
Re: [標的] 台股有哪一隻股票，你想持有40年以上?10
Re: [標的] 台股有哪一隻股票，你想持有40年以上?![Re: [標的] 台股有哪一隻股票，你想持有40年以上?](https://i.imgur.com/VHKXUICb.jpeg "Re: [標的] 台股有哪一隻股票，你想持有40年以上?")
21
Re: [請益] 均線技術分析是不是騙局![Re: [請益] 均線技術分析是不是騙局](https://img.youtube.com/vi/8egpj0Oq09k/mqdefault.jpg "Re: [請益] 均線技術分析是不是騙局")
23
[請益] 關於中信中國ETF![[請益] 關於中信中國ETF](https://i.imgur.com/h0xjyLyb.jpeg "[請益] 關於中信中國ETF")
12
Re: [新聞] 谷歌前執行長施密特：AI這場史詩級競賽![Re: [新聞] 谷歌前執行長施密特：AI這場史詩級競賽](https://i.ytimg.com/vi/5B8oOhJasPo/sddefault.jpg "Re: [新聞] 谷歌前執行長施密特：AI這場史詩級競賽")
32
[情報] 1224 上市投信買賣超排行8
Re: [請益] 關於中信中國ETF7
Re: [請益] 存美債是不是比存月配ETF還穩11
[情報] 8374 羅昇 達注意標準 11月自結 0.12X
Re: [新聞] 谷歌前執行長施密特：AI這場史詩級競賽![Re: [新聞] 谷歌前執行長施密特：AI這場史詩級競賽](https://i.ytimg.com/vi/EkN0CnMuJoY/sddefault.jpg "Re: [新聞] 谷歌前執行長施密特：AI這場史詩級競賽")
5
[情報] 2923 鼎固-KY 子公司取得輝達(NVDA)股票X
Re: [新聞] 谷歌前執行長施密特：AI這場史詩級競賽4
[標的] 2610華航 三樣開泰 準備創高多![[標的] 2610華航 三樣開泰 準備創高多](https://i.imgur.com/ATFVsDob.jpeg "[標的] 2610華航 三樣開泰 準備創高多")
3
[情報] 1560 中砂 20億元竹科廠擴產預算案4
Re: [新聞] 基辛格訪台發豪語… 英特爾將超車台積電12
[情報] 113/12/24 櫃買法人及個股買賣超X
Re: [請益] 均線技術分析是不是騙局9
[情報] 2250 IKKA-KY 11月 自結 0.58![[情報] 2250 IKKA-KY 11月 自結 0.58](https://i.imgur.com/uloS0xfb.jpg "[情報] 2250 IKKA-KY 11月 自結 0.58")
Re: [新聞] 若中共攻台就「摧毀台積電」 川普國防4
[請益] 為什麼官股和投信對大盤影響力這麼大
Re: [請益] 請問這是詐騙嗎
Re: [請益] 請問這是詐騙嗎