PTT評價

Re: [請益] GTC大會是利多新聞該下車的訊號?

看板Stock標題Re: [請益] GTC大會是利多新聞該下車的訊號?作者
LDPC
(Channel Coding)
時間推噓25 推:25 噓:0 →:60

對於老黃GTC到底想幹啥 可以參照底下演講 這演講其實點出很多很重要的關鍵概念
尤其是19:15那邊 你可以把語速調回0.75倍變為正常速度
19:15其實那邊就是layout AI Foundry那個pdf RAG延伸版概念 (註1)
https://www.youtube.com/watch?v=ER4xNhSVJ2c

老黃的優點就是他擅長拿別人的好主意整合到自己商業模式 從以前蘇媽HBM到台積代工甚至turnkey solution 現在則是用張忠謀代工模式+自己生態圈打造AI as a Service

遙想一下以後的未來 你手上有你這個產業才有的數據 你想用AI來幫助你解決一些問題
這時候你可以 1.花一堆錢雇用做AI相關的人 然後幫你處理數據 然後用算力掃描
這些大量數據 接者你昂貴的AI工程師會跟你說 誒誒誒 那個訓練出來結果不太對
learning rate到10e-6時 curve沒辦法再更下去了 performance好像會overfit
我換另外一個2B foundation model試試看 歐歐 等等 我用的GPU好容易gradient
overflow 或者誒誒 這邊有100多種Foundation Model我不確定哪個好 讓我一個個試
又或者那個算力不夠 我得把GPU數量提高到1000但我不是用NVDA的 所以系統給我crash
讓我找GPU廠商去修 又或者好不容易fine-tune完成(客製化模型) 要到deploy時
誒誒誒 那個系統又崩了 因為他無法查詢數量超過一萬個以上藥物

但此時老黃會跟你說 其實你不用自己造輪子 我這邊手上有全世界最好的AI工程師
這邊是我們的包算力方案 我們會協助你用我們AI資料庫裡面Foundation Model
來根據你數據做Fine-tuning你想要針對某組DNA去探討藥物效果 沒問題
fine-tuing訓練過程有任何問題 我們這邊會派駐場AI工程師線上協助你們
什麼算力不夠 好 這邊是我們的H700套餐 歐歐歐 你想在infernece上可以支援上萬組藥物效用查詢
好 這邊是我們AI加速SQL套餐 歐歐歐 什麼 你想一個inference系統能支援各種國家
數萬個科學家和資料庫的搜尋 沒問題 這邊是我們超巨大雲端系統 有最快的連網速度
價位是xxxxxxx

所以AI Foundry最大意義 就是降低這個AI落地門檻 利用自家生態圈
在training/inference搭配雲端整合和自家傑出工程師 幫你代工AI商業模式

就像當年台積電把ic設計 把這門檻降低(以前AMD/Intel都要自己養一個晶圓工廠)
也像是當年聯發科把手機系統廠門檻降低 任何白牌照抄聯發科turnkey solution
而每次底下廠商陪你練功(Fune-tune)久了也知道如何去客製化AI落地產品(Fine-uning)就像當年聯發科的Turneky solution你要的軟體硬體都會有人幫妳弄了
也像是蘋果和台積駐場工程師一起看設計圖(數據)搭配不同算力(3nm/5nm/7nm)
提出方案 要知道你在美國你還找得到一些不錯AI詠唱師跟你一起搞第一套方案
如果沒有長期玩過AI鍊金術這玩意 你在訓練大模型 很容易會訓練失敗..尤其台灣
到現在都還沒A100..像台灣現在想搞個數位醫生自動看診(我知道華碩和各醫院有在搞)
那個搭建門檻是無敵的高 我之前看到他們開的AI工程師月薪x萬元 ...幫台灣QQ


AI三重點 數據 算力 算法 要知道 數據這玩意是搶不走的 老黃有後面兩個
所以NVDA更不像當年聯電可以抄上游設計廠商架構然後自己去搶市場 當年思科還停留
在賣鏟子 老黃已經進階到賣系統生態圈整個大架構 幫你實現你的AI點子 只要你有數據

所以GTC兩重點 BlackWell和AI Foundry 後者瞄準的是要提供給所有中小企業解鎖門檻
讓全世界中小企業自家數據打造能客製化賺錢產物 更別說上面老黃演講還講了
Conitnuious Training->Inference->Training->Inference這種完全不讓其他廠商搶蛋糕的系統模式 所以接下來財報觀察重點就是 要觀察AI代工這概念是否能起飛

張忠謀當年花了20多年讓晶圓代工解鎖ic設計門檻 老黃不知道會花多少年來解鎖AI
入門落地門檻 以AI as a Service連到Inference落地化 這個章節是這次GTC主題
全面產業 機器人 金融 法律 醫療 藥物 所有提高生產力工具 只需要有數據
不管是硬體 軟體 訓練 或 推論 又或者客製化AI煉金術的訓練參數 老黃NVDA通通給你!當年cisco還停留在賣鏟子 下游廠商自己搭建軟體業務 老黃已經走出這個階段
開始販賣軟體硬體整合服務了QQ

--
QQ 等我有錢 我會去老黃那下單 弄個數位版a33 24小時常駐股版 來振奮多軍!!!




--
註1 RTX Chat
https://www.youtube.com/watch?v=Hwn49QenXWg
https://www.youtube.com/watch?v=fc_NSAu41b0

補一個用multi-modal foundation model在醫療運用案例
https://www.youtube.com/watch?v=N3wJwz97b8A


※ 引述《LDPC (Channel Coding)》之銘言:
: GTC就要開始了 禮拜一早上是最後賭盤下注的時間 忘記哪邊統計過GTC以來
: 只有一次股票沒漲過 平均股價在GTC期間會漲5%
: 如果有興趣一些接下來AI落地走向 可以參考此talk 裡面滿多資訊
: https://www.youtube.com/watch?v=QNn0XJ3Ev7o
: 最主要的takeaway就是老黃已經有商業部門在面向企業部門販賣AI as a Service
: 稱之為AI Foundry (細節參照 https://zhuanlan.zhihu.com/p/670193221 )
: AI三大焦點 資料 算法 算力 接下來所有大部分AI產業都會圍繞資料這塊
: https://www.eetrend.com/content/2023/100576059.html
: AI Foundry大體而言可理解如下
: 企業內部私密資料 透過老黃販賣的Foundation Model
: 能客製化(fine-tune)變成專門服務企業自有AI生產力工具 能封閉私密加速企業生產力: 像是Nemo可以給HR/Legal/Finance/Accounting部門 以前需要多語專業會計或Legal人員: 都可以被用AI Foundry模式簡化人力甚至增加工作範圍影響力
: 其他還有針對虛擬空間生產力幫助影音生產業者 而各企業資料(Data)
: 會變成Content Creation的生產工具
: 接下來所有各產業AI落地重點 就是如何提供基礎大模型客製化給顧客企業增加生產力: 這意味者所有以前Saleforce所要做的雲端生產力工具 會透過AI Foundry面向全世界
: 中小企業 藉由大模型透過各企業自己產業數據特制化 這也意味者老黃有機會綁著自家: Inference一套設備 透過AI Foundry販賣給企業...醫療 生藥 電影 財經 法務
: 這是個全面性的很有野心的生產力Turn-key solution藍圖
: 但對一般來說小老百姓 這類的AI落地 是我們無法感受到的
: 這也意味AI落地化 個人生產力部分應該會在企業生產力之後
: QQ...簡言之 老黃已經不在只滿足賣鏟子了 他要搶雲端生產力工具了 會搭配軟體端下手: 禮拜一我應該會做近期最後一次加碼了 如果接下來老黃會在GTC講他要的遠景
: 諸如AI網路基建和軟體應用在企業端的生產力特製化AI服務 那NVDA前景一光明
: 反之 如果不是像網路上這些前期資料 那我們大家公園見!!QQ

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 24.4.211.194 (美國)
PTT 網址
※ 編輯: LDPC (24.4.211.194 美國), 03/24/2024 13:27:39 ※ 編輯: LDPC (24.4.211.194 美國), 03/24/2024 13:28:20

tocks2010 03/24 13:28問就是相信美國黃董

wuyiulin 03/24 13:29人肉版a33瑟瑟發抖,他覺得自己要失業了。

a210510 03/24 13:29看來用ai圖聊天的日子也不遠了

rebel 03/24 13:31你說的是不是ASIC 的概念?但這塊不好做耶 需要大

rebel 03/24 13:31量懂各產業的AE 是個體力活 在NVDA光硬體就還有高

rebel 03/24 13:31毛利下 我不覺得會把RD 擺到這塊 反而是PLTR 比較

rebel 03/24 13:31像專門搞這塊

hinanaitenco03/24 13:36太難了 各種數據型態差異過大 不太相信可以低廉到

hinanaitenco03/24 13:36成為服務

ck326 03/24 13:39我先幫華碩工程師掬一把同情之類,真的可悲的薪水

ProTrader 03/24 13:42簡單說AI要落地第一站明確就是往企業用戶發展

ProTrader 03/24 13:43目前最有利的就是微軟Office原本的企業用戶功能升級

ProTrader 03/24 13:44當然這還是無法讓AI深入客戶企業內部

ProTrader 03/24 13:46原po內文說的就是如何讓企業真正導入AI成為AI公司

strlen 03/24 13:46自己搞AI基建成本遠高於直接尻輝達方案時生意就成啦

strlen 03/24 13:47大廠有錢當然自己基建 中小或非科技業哪有辦法

ProTrader 03/24 13:47台灣最常聽到的對應名詞應該是工業4.0 智慧工廠

ProTrader 03/24 13:48如何讓企業導入AI 是現在AI龍頭與AI新創的共同目標

ProTrader 03/24 13:49目前我認為最有搞頭的應該是亞馬遜小模型的想法

ProTrader 03/24 13:50也就是用小模型直接降低門檻 然後針對企業直接需求

ProTrader 03/24 13:51我看各AI新創主要也是往這個方向 拼演算法競爭力

ProTrader 03/24 13:52其次的做法就是幫企業導入現成大模型幫忙特化調整

s987692 03/24 13:53阿就跟cloud搶肉吃,就看會不會噎到了

ProTrader 03/24 13:54這個做法AI基建門檻較高 主要是拼現成模型應用能力

EvilSD 03/24 13:55我搞AI落地好幾年 有價值的領域現在還太少 而且落地

EvilSD 03/24 13:55最大的問題其實還是現場環境 因為台灣大多都是工廠

EvilSD 03/24 13:55居多

ProTrader 03/24 13:55這種做法客戶端要大公司 AI公司也要夠大比較能拼

EvilSD 03/24 13:56但可能有幾個場域是在軟體端 例如各公司的客製化cha

EvilSD 03/24 13:56tgpt,這在目前算是比較有通用型價值的領域了

ProTrader 03/24 13:57如果針對台灣的工廠 入門要有自己的AIoT取得資料

※ 編輯: LDPC (24.4.211.194 美國), 03/24/2024 13:59:06

moike22 03/24 13:57老黃包圍網來惹

ProTrader 03/24 13:57特調chatgpt做成自己產品也是一條路AI新創的路

EvilSD 03/24 13:58再來就是資料問題 基本上不是私有架構或是私有雲

EvilSD 03/24 13:58 都很難有搞頭

ProTrader 03/24 13:58有價值的場域很多 但是入門的數位化門檻太高

ProTrader 03/24 13:59台灣或世界上很多公司連前提數位化都沒達成

ProTrader 03/24 14:00達成數位化門檻後才有資格說資料問題

EvilSD 03/24 14:00說到數位化其實台灣工廠數位化應該是世界第一

EvilSD 03/24 14:01這幾年都是老外跟不上再找我們取經

ProTrader 03/24 14:01資料問題是全都是非結構化或半結構化根本不能用

ProTrader 03/24 14:02今天要導入AI最基礎的特徵工程 就直接撞牆了

ProTrader 03/24 14:03簡單說就是有產業對應數位化與導入AI的人才太少

ProTrader 03/24 14:04接著說道AI人才 看看台灣開出來的薪水

ProTrader 03/24 14:05最直接的例子就是台積電的智慧製造工程師

ProTrader 03/24 14:06坦白說實在很難想像以台積電今日地位還是搞成那樣

bnn 03/24 14:06其實就是 這鬼東西能給美國壟斷嗎 其他國要不要搞

ProTrader 03/24 14:07AI要落地我覺得最大門檻是產業數位化與相關人才

bnn 03/24 14:07晶圓廠當年也沒人覺得會搞成壟斷到現在要各地搬家

ProTrader 03/24 14:08現階段來說 談大模型小模型公有雲私有雲還有點早

bnn 03/24 14:09那現在各國看著製造都被卡脖子了 誰真敢放AI壟斷

ProTrader 03/24 14:09如果以台積電的模式 那是做到客戶的產業專業顧問

ProTrader 03/24 14:10而且台積電的顧問水準可是業界頂尖

ProTrader 03/24 14:10完全碾壓檯面上的大型顧問公司

ProTrader 03/24 14:11以這個前例就是看輝達亞馬遜誰能達到這個水準

ProTrader 03/24 14:13微軟也是 不過我猜微軟會從office的專業性切入

ProTrader 03/24 14:14也就是說誰是客戶最強的產業數位與智慧化專業顧問

ProTrader 03/24 14:16那就是最後贏家我猜最後非一家獨大會有各產業山頭

goodlay5566 03/24 14:17畫餅功力不錯

ookimoo 03/24 14:17餅太大,商業化太小, NVDA下去200-300

waitrop 03/24 14:18跟我老闆在performance review時畫餅 有夠像的

motan 03/24 14:19現在都在拼saas,看誰先取得先機

ck326 03/24 14:22老闆的工作本來就是畫餅啊

AGODC 03/24 14:23其實只要一個邏輯就好了,一個佈局GPU運算2-30年的

AGODC 03/24 14:23人,從快破產到終於走到打敗全部GPU,到達公司市值2

AGODC 03/24 14:23兆鎂的今天,你覺得這種人有可能沒堵好洞,留後門給

AGODC 03/24 14:23別人反超的機會?如果有,那在小公司時早被淘汰了

abccbaandy 03/24 14:31推61F,真的超像的...吹一堆,這種能搞成AWS那種

AGODC 03/24 14:32黃董說的,就算晶片免費,還是比NV貴,因為人家已經

AGODC 03/24 14:32把很多工作都整合進去,你一般公司就是直接買算力買

AGODC 03/24 14:32服務,別想著自己搞特規,最終只會落個特貴的下場

abccbaandy 03/24 14:32就很不錯了,太細節還是自家工程師吧

Cliffx 03/24 14:34這樣AMD是不是有危險

clusis 03/24 14:45營收才剛起步

ProTrader 03/24 14:50台積電的cuLitho能大幅度增加光罩產升速度降低成本

ProTrader 03/24 14:51在這之中輝達也是很重要的合作夥伴

ProTrader 03/24 14:51老黃也不是完全唬爛 輝達是真的有戰績

huk40199 03/24 14:51有啊最近現場落地就是cuLitho啊

huk40199 03/24 14:52這葛很恐怖der

ProTrader 03/24 14:52當然最後AI落地能讓輝達賺多少 還要繼續觀察就是

huk40199 03/24 14:52喔上面有人講了抱歉

ProTrader 03/24 14:54因為這是目前最能說嘴的例子 所以幾乎同時推文XD

JKCCF 03/24 14:55懂了,ALL IN NVDL XD

s240616 03/24 14:56講成這樣 all in 了 ^_^

gabriel 03/24 14:58老黃:拿你的黃金來換鏟子