PTT評價

Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?

oopFoo 發表於 2023/7/3 上午10:27:59
看板PC_Shopping標題Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?作者
oopFoo
 (3d)時間推噓 1 推:6 噓:5 →:36

※ 引述《hugh509 ((0_ 0))》之銘言：
: 先說我不懂AI運算
: 只是看了林亦的新影片
: https://youtu.be/UsfmqTb2NVY
 就鬼扯，我也懶的噴他。現在老黃是遙遙領先所有人，AI全吃，沒什麼好爭辯的。

現在所謂的DL，第一需要的是運算，第二才是記憶體頻寬。
M2Ultra的gpu就27.2tflops(fp32)，跟3080差不多，但ampere有兩倍的(fp16+fp32accumulate)還有4x的(fp16)。現在fp16訓練就很夠了，擔心你可以用fp16+fp32模式，那也是2x你m2 ultra。

https://images.nvidia.com/aem-dam/Solutions/Data-Center/l4/nvidia-ada-gpu-architecture-whitepaper-v2.1.pdf
https://tinyurl.com/yuak5w5d

4090是82.6tflops(fp32)，330.3tflops(fp16)。m2ultra連車尾都看不到，可憐啊。

然後M2Ultra的31.6tops，那應該是int8無誤如果是int4那就更可憐。4090是660.6(int8)tops與1321.2(int4)tops。這已經是被超車好幾十圈了。(tops是inference用的)


H100 datasheet
https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheethttps://tinyurl.com/bdfuutbe
h100 pcie是最低階的
756tflops(tf32)
1513tflop(fp16)

h100是狠狠的虐了所有人包含a100。2x~4x(a100)

https://www.mosaicml.com/blog/amd-mi250
AMD的mi250不到a100的80%，mi300的specs其實跟mi250差不多，mi300主要是apu功能。

只有google的tpu跟intel的gaudi2跟a100有輸有贏。

https://mlcommons.org/en/training-normal-30/
gaudi2在gpt3的訓練大概是h100的1/3性能。

intel為什麼要取消rialto bridge？現在ai當道，fp64強的hpc架構根本毫無用處。AMD因為只有mi300所以只能硬上了，但383tflops(fp16)要怎麼跟1500+tflops的h100比？

intel現在把資源集中在gaudi3/4，期望2年內可以看到老黃的車尾。

有人以為老黃只是因為cuda軟體贏。其實nn很容易移植到其它架構，老黃是硬體大贏＋長期耕耘ai。

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.249.214 (臺灣)
※ PTT 網址
→

WYchuang 07/03 10:54MI300應該沒有跟250差不多 … apu只是其

→

WYchuang 07/03 10:54中一個型號 mi300x才是全部gpu

噓

a000000000 07/03 11:01mi300x我記得fp32沒輸h100多少喔

→

a000000000 07/03 11:01而且老黃是tensor core

→

a000000000 07/03 11:01現在也只有知道多少cu 不知道頻率

這根本是外行話。 nn本來就是tensor。 有756tflops的tf32幹麼用51tflops的fp32。 h100還有fp8，有些training有用到更是可怕的效率。

→

cor1os 07/03 11:08樓上射惹

推

E6300 07/03 11:50反正老黃就是拿遊戲卡來撐場子

推

harry886901 07/03 12:20他計算速度主要是開大batch size

→

harry886901 07/03 12:20這樣確實不用算力也能有效加速運算效

→

harry886901 07/03 12:20率

夢裡什麼都有。AMD戰未來。

→

CORYCHAN 07/03 12:26為何您會得出MI300跟MI250差不多的結論
→

CORYCHAN 07/03 12:26呢？

沒有架構大改。現在公開的數據就沒有變動很大。

※ 編輯: oopFoo (36.224.228.156 臺灣), 07/03/2023 12:47:14
推

spfy 07/03 13:02先不管IA有沒有輸這麼多 那影片下面一堆人

→

spfy 07/03 13:03贊同蘋果要超越老黃 看的我好像走錯世界線

→

oopFoo 07/03 13:26現在一堆在講AI的都讓我覺得很莫名奇妙。

→

oopFoo 07/03 13:27也有跑ai模型理論很好的人，對硬體完全不

→

oopFoo 07/03 13:28懂，也是意見很奇杷。

推

iuytjhgf 07/03 13:35你怎麼會期待讀資訊科的人就會組電腦

→

iuytjhgf 07/03 13:36寫軟體只在意我的模型到底塞不塞的下去

噓

a000000000 07/03 13:51尼484沒看懂我在講啥

→

a000000000 07/03 13:51h100 tf32 756

→

a000000000 07/03 13:52mi250 384

→

a000000000 07/03 13:52mi300x cu數4mi250的1.6倍

→

a000000000 07/03 13:52再加上頻率差 尼自己算一下

噓

a000000000 07/03 13:54等等我好像看錯惹

噓

a000000000 07/03 13:58384應該是mi300a的fp16 尷尬

推

Arbin 07/03 14:48不過就算目前mi300x有接近h100效能好了

→

Arbin 07/03 14:48DL公司應該還是會對他觀望

→

Arbin 07/03 14:49主要目前你各位還是太黏NVDA

推

aegis43210 07/03 16:15H100強在BF16和自己開發的TF32，這兩

→

aegis43210 07/03 16:15種場景都比CDNA3強很多

→

aegis43210 07/03 16:16但mi300在int8和int4相對mi250有4倍以

→

aegis43210 07/03 16:16上的提升

→

oopFoo 07/03 16:24mi300有400tops，假設是int8好了，h100的

噓

a000000000 07/03 16:27我看惹一下 mi300在fp16含以下應該

→

a000000000 07/03 16:27mi300x大概h100的一半附近

→

a000000000 07/03 16:28目前LLM運算應用效率4沒到50%才對

→

a000000000 07/03 16:28主要都卡ram

→

a000000000 07/03 16:28而且那是a100的狀態

→

a000000000 07/03 16:29a100->h100 都是80GB hbm2e->hbm3

→

a000000000 07/03 16:30tensor core運算效能多很多
→

a000000000 07/03 16:30能用到多少就很難說惹

→

oopFoo 07/03 16:32寫錯mi250大概400tops。mi300大概1600tops

→

oopFoo 07/03 16:33h100是3026tops，350w。mi300要？800w?

→

oopFoo 07/03 16:36int8/int4這種inference的東東，xilinx有

→

oopFoo 07/03 16:39比較划算的東東。MTL也有30?tops的vpu，這

→

oopFoo 07/03 16:40一塊還有空間給IA兩家機會搶。
同系列文章
[閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
其他人也閱讀了
PTT 熱門相關
PC_Shopping最新熱門推薦
🔥🔥🔥