PTT評價

Re: [討論] 群聯買不起三台nvdia dgx?

看板Tech_Job標題Re: [討論] 群聯買不起三台nvdia dgx?作者
lalacoa
(lalacoa)
時間推噓15 推:16 噓:1 →:31

我也看了這個訪談
所以故事應該是..

幾個工程師想在公司弄LLM fine tune去跟老闆要三台DGX
老闆一看跟公司業務八竿子打不著拒絕了
工程師拿自家SSD變成4090的VRAM自幹LLM
老闆知道後發現自家產品居然也能跟AI沾上邊,開始大量宣傳新發明

這故事是不是告訴我們...養閒人還是很重要的 (但不是普通的閒人)
夠閒才會激發創意
整天趕進度是不會有新發明的

※ 引述《myis8787 (white)》之銘言:
: 來源: https://www.youtube.com/watch?v=mD6IZBnfJWU
: 標題:市值從零到一千億的創業過程!群聯電子如何成為台灣晶片設計傳奇?協助台灣
: 國際盃?專訪群聯電子創辦人潘健成董事長!
: --------
: 訪談裡面提到群聯同事要求潘董購入三台NV
: 總價六千萬的DGX來訓練公司自己用的LLM
: 潘董直接回答最近市場不好 沒錢!
: 台灣一線IC廠真的買不起嗎?
: 還是潘董覺得沒那個價值呢?

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 185.213.82.243 (臺灣)
PTT 網址
※ 編輯: lalacoa (185.213.82.243 臺灣), 05/29/2024 21:21:08

physicsdk 05/29 21:26這種故事真實性有多高XD

nikolas 05/29 21:26規模大一點的公司都會有 沒做產品 純研發的部門

jkl852 05/29 21:46像gg的pathfinding阿 上班就是看機票跟股票

havochuman 05/29 22:00這故事你會信?

joefaq 05/29 22:09可以跟董事長說得上話的都是長官了

a70327cow 05/29 22:23給潘蛇15分鐘

jtsu5223 05/29 22:42gg PFD都在看機票和股票?笑死唬爛不打草稿

jecint1707 05/29 23:11XD

ashyang 05/30 00:40NV是有錢人的AI,這個是窮人版AI

iefast2004 05/30 01:53給潘蛇跟皮衣刀客講15分鐘,群聯就起飛了

qwe78971 05/30 03:53SSD 當vram 還跑LLM ? 一個月內就報廢了 來搞笑

dildoe 05/30 05:51跑LLM當壓力測試新工具沒問題啦XD

doranako 05/30 07:13改成ssd慢很多

d58974 05/30 07:56先不談ssd當vram的真實性啦,但的確要夠閒才會開始搞

d58974 05/30 07:57事,如果每天忙到連睡覺都沒時間,累都累死了搞事只是

d58974 05/30 07:57在搞自己而已

flysonics 05/30 08:55很簡單的一個邏輯 假如是你自己當side proj作來玩

flysonics 05/30 08:55的 沒資源時拿什麼理由開口跟你老闆要資源?

flysonics 05/30 08:55除非是你跟你老闆有私交 或是這side proj本身就是

flysonics 05/30 08:55你老闆job assignment的一部分 不然我想不太到這種

flysonics 05/30 08:55情況下能跟老闆開口要資源的合理性

shikemurajy 05/30 12:29其實好像很多IC設計這樣幹ㄏ

jeff85898 05/30 13:03群聯發明的?確定不是別人研究成果拿來用

jeff85898 05/30 13:03https://tinyurl.com/3jxf7tn6

tsairay 05/30 13:19他們手上ssd很多啊,拿一些來當消耗品還好啦

wcre 05/30 15:37問題是誰當閒人啊,給我爽,副總下去做?

baba1128 05/30 16:40這個故事是真的,因為開口要的是他們現任技術長

bizer 05/30 22:23台灣玩不起高階設備,AI都使用錢堆錢

aria0520 05/30 23:40SSD當Vram跑LLM 阿不就只是用時間換取空間

aria0520 05/30 23:40當然還是可以train阿 阿你finetune完別人都出

aria0520 05/30 23:40下一代模型了 這"發明"是有什麼鳥用

aria0520 05/30 23:41阿你如果是拿來infer 你不offload到GPU本來就是

aria0520 05/30 23:42在RAM上 滿了就swap到SSD kv cache也放ssd

aria0520 05/30 23:43阿這不就標準操作 啥發明

aria0520 05/30 23:43老闆看起來是真的不懂才會想到要把這拿來吹

不過潘董有提到說這個是用在公司或家庭內部的模型訓練,不是跟那些巨頭AI相比,這個 概念倒是挺前衛的

aria0520 05/30 23:44基層工程師大概也在苦笑 不就開源兜一兜結果被當寶

physicsdk 05/31 00:26有時候老闆幹些工程師覺得很無聊的事 股東卻會高潮

physicsdk 05/31 00:26然後股價就噴起來

physicsdk 05/31 00:27蹭AI是現在的主流風向

※ 編輯: lalacoa (1.161.163.57 臺灣), 05/31/2024 01:14:23

jeff85898 05/31 01:22花個半年微調模型 效果好不好要半年後才知道 這觀念

jeff85898 05/31 01:22的確是挺前衛的

leviathen 05/31 03:11前衛個屁,家裡用買個GPU啊,誰閒來沒事用SSD搞這個

leviathen 05/31 03:11,費時又麻煩

leviathen 05/31 03:13就概念是有人說可以徒手蓋房子不用工具,當然做得到

leviathen 05/31 03:13,但是意義何在?

leviathen 05/31 03:14單純是蹭AI的噱頭新聞罷了

joygo 05/31 20:06 臉書 谷歌都在放出模型了,主要是要練公司內部資

joygo 05/31 20:06料吧