[閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?

kivan00 07/01 17:19沒生態你要用什麼跑？手刻API嗎

kalarotia 07/01 17:22又在吹蘋果,不累嗎

hugh509 07/01 17:23林亦當然是吹，我關心的是PC卡會不會影響

SunFox58 07/01 17:27不影響 end

ducamao 07/01 17:35你如果連他吹的用途都看不懂的話，那換句

ducamao 07/01 17:35話說。兩個沒交集的領域要怎麼影響

raider01 07/01 17:37問題兩邊GPU性能差多少，花同樣的錢可以

raider01 07/01 17:37買到等級不低的運算卡了吧

raider01 07/01 17:383080Ti一張也才多少怎麼會拿來比？

scarbywind 07/01 17:39只比硬體你拿AMD不是更便宜

E6300 07/01 17:413080ti回血阿

as134679258 07/01 17:46互不影響 遊戲卡要的是運算 AI要的

as134679258 07/01 17:46是大容量跟傳輸帶寬 前面展示的大容

as134679258 07/01 17:46量帶來得訓練優勢 後面展示大語言模

as134679258 07/01 17:46型在local執行的能力

as134679258 07/01 17:47說可以抵8張主要是拿顯存放模型

as134679258 07/01 17:47跟需不需要那些算力沒直接關係

fishworm 07/01 17:48你花30萬都已經能買到a100了，好歹也拿

fishworm 07/01 17:48價格近似的東西來比吧

s78513221 07/01 17:50老黃的大顯存是資料中心的專業卡

s78513221 07/01 17:50民用想要的是大顯存的遊戲卡兼學習

aegis43210 07/01 17:52老黃又不是傻子，為什麼要出大容量的

aegis43210 07/01 17:52顯示卡，蘋果這個能算的模型又不多

s78513221 07/01 17:53但目前的務實之選是…接人家現成的

aegis43210 07/01 17:54能玩的遊戲也少，看不出有什麼競爭力

hugh509 07/01 17:54所以大容量並不是遊戲卡和計算卡共同方向

hugh509 07/01 17:55還以為計算卡被打擊，遊戲卡也會間接受益

hugh509 07/01 17:56因為看到這代頻寬開砍有點傻眼

hugh509 07/01 17:57價格漲上那麼多規格還有倒退嚕的喔

Arbin 07/01 18:00SoC在記憶體頻寬上絕對有優勢

Arbin 07/01 18:00但Core ML的生態系太疲軟了

tony1768 07/01 18:01先要有人要支援

aegis43210 07/01 18:02繪圖卡的強項是渲染和成像，這塊才是

aegis43210 07/01 18:02老黃最大的護城河

spfy 07/01 18:1230萬比12900+3080ti？

fishworm 07/01 18:14不過蘋果M2的確是workstation上cp好

fishworm 07/01 18:14如果有軟體支援，M2目前的確是性價比最

Alwen 07/01 18:17不過沒人會拿顯卡跑訓練吧= =

commandoEX 07/01 18:19一張3080不夠強你能上兩張啊

kira925 07/01 18:19老黃跟蘇媽：歐

commandoEX 07/01 18:19M2Ultra就沒有擴充性了

Alwen 07/01 18:20然後一般用戶也買不起也拿不到Grace hopper

fishworm 07/01 18:22如果你的模型夠輕量就可以用消費級跑

fishworm 07/01 18:22通常在於概念驗證，或是edge端上使用

fishworm 07/01 18:28蘋果這格會影響的是小型工作站原本會買

fishworm 07/01 18:281~2張消費級顯卡，現在改買M2

fishworm 07/01 18:29但要說動搖老黃AI霸權，或消費級PC

fishworm 07/01 18:29可以說幾乎沒有

Alwen 07/01 18:31其實真能幹翻老黃，新聞早就滿天飛惹= =

Alwen 07/01 18:32現在消費級PC端 老黃都快一統天下= =

Alwen 07/01 18:44影片測試AI繪圖...M2好慘..

raider01 07/01 18:56可是拿a100打遊戲也不會弱到哪去，肯定

raider01 07/01 18:56比m2ultra好= =

raider01 07/01 19:01就上上面說的CP值真的那麼高那些搞資料

raider01 07/01 19:01中心的早就多買幾台插滿RAM就好了

raider01 07/01 19:03然後原本用N家的也幾乎不太可能轉，光是

raider01 07/01 19:03系統轉換就有問題了，運算程式還要重寫

iuytjhgf 07/01 19:03就特定用途而已啊 模型不夠大還沒優勢

qwe753951 07/01 19:12mi300: hello

aegis43210 07/01 19:12工作站要拿RTX 6000 ada來比才能真的

aegis43210 07/01 19:12比較CP值

tututoto 07/01 19:28https://i.imgur.com/12XEA01.jpg

comipa 07/01 19:35只能玩到沒有hopper的 哭哭~

comipa 07/01 19:39GraceHopper最大是480+96GB, NV:M2Ultra?

Rust 07/01 19:43有沒有可能NV轉身就推出MacPro的專用顯示卡

Alwen 07/01 19:55不可能 水果行封閉不是一兩天的事情

hugh509 07/01 19:59MacPro不是不能插顯卡了

nextpage 07/01 20:15上個月他們開發步會出新桌機時就特別強

nextpage 07/01 20:16掉插槽不能用來插顯卡了,鐵了心要分道揚

nextpage 07/01 20:16彪

scarbywind 07/01 20:23蘋果現在最主要的問題是你一定會在工

scarbywind 07/01 20:23作流程中的某個環節斷鍊

scarbywind 07/01 20:24x86頂多就是跑起來效能不太好 貧果是

scarbywind 07/01 20:24完全不能跑

aigame 07/01 20:28有cuda嗎沒有啊花30萬結果這也不能裝那也

aigame 07/01 20:28不能玩,本地安裝還要找大神有沒有做就算

aigame 07/01 20:28有算圖速度也不行,組4090十二萬算很頂了

aigame 07/01 20:28上個廁所回來高解析運算跑了四十圖以上不

aigame 07/01 20:28用高解析洗個澡算個三百圖算基本款而已

aigame 07/01 20:31還有sd一堆插件能不能安裝都是問題就樓上

aigame 07/01 20:31說的一定會斷鍊為何我不用完全沒相容問題

aigame 07/01 20:31的4090?

alvistan 07/01 20:33蘋果說已經太強了 不需要插顯卡

a27417332 07/01 20:43先噓他，影片越來越沒料

NoneWolf 07/01 20:48價格都不用統一下？那乾脆拿1030比好了

NoneWolf 07/01 20:48 我也用Mac 但這完全就是無腦果粉zzzz

a28200266 07/01 20:49蛤

justicebb 07/01 20:51水果就是用封閉換取效率

justicebb 07/01 20:52比較類似遊戲主機的優化概念

a28200266 07/01 20:54這論點太迷幻了

raider01 07/01 21:21而且想到另一個重點，如果用內顯都可以

raider01 07/01 21:21的話，又不太需要顯卡效能，那我隨便找

raider01 07/01 21:22一顆有內顯的CPU把RAM插好插滿不久好了?

raider01 07/01 21:22結論就是M2跑AI有CP根本假議題

EAFV 07/01 22:03果粉價值點滿+錢太多+不急著生出成果才會選

EAFV 07/01 22:03這個吧

jacklin2002 07/01 22:04這傢伙跟鐘文澤就同一個路線的

Gauss 07/01 22:47他整部影片都在講Mac Studio 吧？哪來Pro

Gauss 07/01 22:50177,999 台幣就能用上192g的vram很香吧？

Gauss 07/01 22:50也不用core ML，PyTorch已經原生支援MPS了

Gauss 07/01 22:50連我的老AMD顯示卡MacBook都能煉丹了

Gauss 07/01 22:50（只是用AMD效率很差）

mark0912n 07/01 22:59Mac Studio的滿血M2 Ultra大概是20.8萬

mark0912n 07/01 22:59這價格的大顯存替代方案很少吧

mark0912n 07/01 22:59不過影片標題也太浮誇了

PTTfaggot 07/01 23:02拿ps5來運算不是更屌？

mark0912n 07/01 23:05上面說CPU把RAM插滿 VRAM和RAM不一樣吧

creepy 07/01 23:24幾個月前都可以透過pytorch跑SD了

guanting886 07/01 23:25這個問題就在你到底是在做事還是像

guanting886 07/01 23:25個傻子在比規格。

guanting886 07/01 23:26只要能用較低的成本完成某件事那真

guanting886 07/01 23:26的是不錯，至少多一點競爭大廠才不

guanting886 07/01 23:26會搞怪。

leaveleft 07/01 23:41其實個人消費級的電腦，拿來做特定的A

leaveleft 07/01 23:41I運算，是蠻值得買M2U的，自己建立蘿

leaveleft 07/01 23:41莉模型，然後不受道德約束...扯遠了，

leaveleft 07/01 23:41但是一般中小型企業真的要搞自己的模

leaveleft 07/01 23:41型，思考方式就跟個人不同了，穩定、

leaveleft 07/01 23:41拓展性、兼容性，已經不會去計較省幾

leaveleft 07/01 23:41萬元了，我對mac沒有研究那麼深，不知

leaveleft 07/01 23:41道可不以8台Mac studio 串在一起運算

leaveleft 07/01 23:41，如果可以的話，中小型公司確實可以

leaveleft 07/01 23:41考慮串起來搞AI

Ereinion9895 07/01 23:42問就是生態，要是有生態就能贏，沒

Ereinion9895 07/01 23:42生態你硬體再強也無用武之地

tr920 07/01 23:51民用ai機，現在m1m2的確是cp值最高的，不

tr920 07/01 23:51用懷疑，已經很多ai應用測試結果都是如此

jhangyu 07/01 23:56樓上一堆觀念錯誤還誇誇其談

jhangyu 07/01 23:56顯存和記憶體不會分？

jhangyu 07/01 23:56顯示卡的記憶體頻寬多少

jhangyu 07/01 23:56你一般記憶體頻寬多少？

jhangyu 07/01 23:56現在珍貴的是顯存容量好嗎？

jhangyu 07/01 23:56M 系SoC做到的一點是同一記憶體同時具有

jhangyu 07/01 23:56顯存的能力

jhangyu 07/01 23:56連這個重點都沒抓到

jhangyu 07/01 23:56上面一堆還來亂講甚麼鬼東西

jhangyu 07/01 23:56還把1030插滿記憶體咧，供三小

jhangyu 07/01 23:56當然我不是果粉

jhangyu 07/01 23:56M2的問題在於空有硬體沒有軟體

jhangyu 07/01 23:56光算圖速度就差別人一大截，那個GPU使用

jhangyu 07/01 23:56率根本沒跑滿

jhangyu 07/01 23:56這就要等看有沒有更多人願意投入生態開

jhangyu 07/01 23:56發了

jhangyu 07/01 23:56當然以蘋果的不封閉就會死的死樣子

jhangyu 07/01 23:56我看還很漫長拉

raider01 07/02 00:00有人不知道內顯是直接共用普通記憶體?

jhangyu 07/02 00:01然後上面有人說到重點

jhangyu 07/02 00:01現在生態基本上都是圍繞CUDA開發的

jhangyu 07/02 00:01你開發一個模型東缺一個library西缺一個

jhangyu 07/02 00:01dependencies

jhangyu 07/02 00:01光解決這些問題就飽了，浪費一堆時間

jhangyu 07/02 00:01時間就是錢，一般公司還是直接買A100/H1

jhangyu 07/02 00:0100最快

as6633208 07/02 00:02講真的，nv AI強的也不是4090，而是A10

as6633208 07/02 00:020，在更上面超級伺服器等級的還有dgx g

as6633208 07/02 00:02h200，甚至nv軟體的優勢cuda，蘋果也沒

as6633208 07/02 00:02有提出取代方案，我不覺得蘋果有那麼神

as6633208 07/02 00:02可以光靠一個M2晶片就超越nv經營這麼久

as6633208 07/02 00:02的AI領域

jhangyu 07/02 00:02共用普通記憶體有屁用

jhangyu 07/02 00:02你能把模型load進去嗎

mark0912n 07/02 00:02內顯共用普通記憶體 你能跑到800GB/S?

raider01 07/02 00:03上面有人說M2優點是記憶體可以開大

raider01 07/02 00:03那不就只是內顯跟一般記憶體共用了

raider01 07/02 00:04反正不是說顯卡運算效能不重要?

mark0912n 07/02 00:05那是建立在m2和顯卡有差不多帶寬好嗎

jhangyu 07/02 00:05人家記憶體直接做在SoC旁邊

jhangyu 07/02 00:05頻寬有800G/s

jhangyu 07/02 00:05你繞遠路經過主機板的普通記憶體頻寬有

jhangyu 07/02 00:05多少？

jhangyu 07/02 00:05連人家1/10都不到，賣鬧

raider01 07/02 00:05直接用內顯算把東西丟到記憶體上就好

jhangyu 07/02 00:06AI運算需要的是記憶體容量和頻寬兩者兼

jhangyu 07/02 00:06具

Gauss 07/02 00:06說內顯的那位保障沒用過任何AI框架

Gauss 07/02 00:07根本沒先了解卻能大放厥詞

jhangyu 07/02 00:07鬼扯發言，幻想很美好

jhangyu 07/02 00:07叫他自己把自己說的鬼話實現一次看看

jhangyu 07/02 00:07我想看笑話

Gauss 07/02 00:07怎麼不把模型load進HDD的虛擬記憶體裡？

Gauss 07/02 00:08上百T的虛擬記憶體隨便用

as6633208 07/02 00:09https://reurl.cc/94D77v

jhangyu 07/02 00:14他還有發言要用A100來打遊戲

jhangyu 07/02 00:14他連上禮拜極客灣的影片都沒看

jhangyu 07/02 00:14那個A100裡面全是AI單元，根本跑不動遊

jhangyu 07/02 00:14戲

jhangyu 07/02 00:14還打遊戲不會輸咧

jhangyu 07/02 00:14A100打遊戲根本內顯都打不過

jhangyu 07/02 00:14因為它壓根就不是拿來打遊戲的

guanting886 07/02 00:51某樓你A100 80G 30萬能買到，你跟哪

guanting886 07/02 00:51位經銷叫貨的可以分享一下嗎？

aegis43210 07/02 01:08A100可以玩遊戲呀，到了H100才砍了一

aegis43210 07/02 01:08堆RT單元

ehai0725 07/02 01:59價差這麼大說cp值，果粉邏輯堪慮...

w3160828 07/02 02:19都30萬了幹嘛不拿a100

hellomotogg 07/02 03:35編譯xcode也沒比較快

seanwu 07/02 08:59感覺很像10年前在推的HSA計算XD

seanwu 07/02 09:00另外傳統內顯印象中也不是unified memory

seanwu 07/02 09:03理想上是要CPU/GPU共用MMU的，

seanwu 07/02 09:04單純主記憶體切一塊給GPU不算

Chilloutt 07/02 10:04蘋果軟體的生態圈完全不用擔心

ptta 07/02 10:34一台m2 ultra 可抵8張顯卡

fthufccqpk 07/02 11:10以前Mac PRO intel版頂歸可是要16X萬

a000000000 07/02 12:27就HSA沒有真的推起來過

a000000000 07/02 12:27然後剛好m2 ultra記憶體可以到192GB

a000000000 07/02 12:28現在LLM又需要超大記憶體

a000000000 07/02 12:29現有的pc平台不管hsa+超大記憶體都無

a000000000 07/02 12:29法實現

a000000000 07/02 12:29我記得蘇媽大概zen5還哪代

a000000000 07/02 12:30好像就要把mi300那種架構放一般server

a000000000 07/02 12:31差不多等於mi300把hbm換普通dram

a000000000 07/02 12:33如果server有 那TR級的就有機會惹

haworz 07/02 14:49要快直接根據演算法出ASIC不是更快

a1234567289 07/02 16:46樓上執行模型只需要晶片是不是

comipa 07/02 17:12把ram一起刻進去 (X)

a1234567289 07/02 17:36跑模型還需要Compiler 和Runtime 捏

a1234567289 07/02 17:36 CUDA做了一堆事…

aegis43210 07/02 21:47先做一個可以過濾雜訊的AI演算法，不

aegis43210 07/02 21:48然記憶體一直肥大

sableangle 07/02 21:50說30萬怎麼不去買A100的大概也覺得只

sableangle 07/02 21:50要有A100 CPU 主機 電源什麼都不用的

sableangle 07/02 21:50就可以開始算了 大概對要買到可以開機

sableangle 07/02 21:50要花多少錢沒什麼概念

airken99 07/02 22:42只關心到移動端AI的發展，一體化架

airken99 07/02 22:42構應該有優勢

Alwen 07/02 22:48這個在B站被噴翻欸= =

a000000000 07/02 23:14他這就尼可以在mac上跑自己的聊天機

a000000000 07/02 23:14器人跟stabel diffusion 其他傳統的

a000000000 07/02 23:14沒人搞就沒有

jhangyu 07/03 05:55他SD就能跑而已，但是跑得很慢

jhangyu 07/03 05:55還不如買一塊3090來跑效益比較好

horb 07/03 09:05沒有優勢。蘋果自己生態內很強。生態外就是

horb 07/03 09:05廢物

horb 07/03 09:06語音創作可以用蘋果

horb 07/03 09:06其他最好先研究能不能跑再說

hidexjapan 07/03 09:12主要是頻寬夠然後Ram又能自由調度，

hidexjapan 07/03 09:12但是這比較偏個人跟小工作室自己玩確

hidexjapan 07/03 09:12實CP值超高，但運算卡不是拿來擺好看

hidexjapan 07/03 09:12的，真的要企業用還是需要運算卡，只

hidexjapan 07/03 09:12是怕老黃刀法又多切一個民用AI區間

filiaslayers 07/03 10:49林亦這種垃圾片沒人噓？

WiLLSTW 07/03 11:07個人不適合 光debug就飽了……

pcfox 07/03 11:14喔 挖鼻

yymeow 07/03 11:19買A100/H100就好了，工具是快且好用，不是

yymeow 07/03 11:20開車上路前先造車修車

froce 07/03 16:29啊這就家用思維和商用思維的差異。

froce 07/03 16:29在家自己研究跑來玩的當然買台MacBook pr

froce 07/03 16:29o能跑速度可以接受就好，PyTorch裝上去就

froce 07/03 16:29直接可以跑也不用在那邊跟CUDA安裝奮戰。

froce 07/03 16:29至於買studio跑大模型…我還沒自閉到要跟

froce 07/03 16:29AI聊天，除非你工作上需要調教大模型