Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售
千禧年的網路泡沫,也是先炒作硬體商,Cisco, Sun...,Sun還有"dot in dot-com"的廣告。
網路確實是改變世界,但真正大賺的是軟體公司,而且是完全新鮮的軟體公司。
這次AI浪潮,應該也是類似。
N家這次炒作這麼高,是因為真的,Compute是供不應求。每個大公司都怕買不夠,跟不上。
但最近一些AI的發展,也許會發現,這些Compute是不需要的。
Mamba, RetNet, RWKV是從"Attention"的這點來改善。"Attention"是Quadratic Complexity,這是硬體需求的關鍵。現在在找方法從Quadratic改成Linear。
Mamba我很看好,它的作者之一也是"Flash Attention"的作者。
但昨天一篇新的論文,可能是真的翻天覆地的開始。
https://arxiv.org/abs/2402.17764
"The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits"
https://news.ycombinator.com/item?id=39535800
hn的討論。
現在討論的共識是,可行,理論基礎很扎實。各路人馬開始指出,從2006年開始的這方面研究,已經找出好多篇證實這方向是可行的。
現在的LLM是用fp16(16bits),這方法可1.58bits,(討論說可以縮到0.68bits)
然後本來是fp dot product的只要int add。
輕鬆10x的效能,新ASIC針對Ternary weight發展可以輕鬆100x的效能改善?
如果這篇證實是可行的,AI起跑點重新設置,所有公司的價值都要重新計算。
這篇的作者群很有資歷,但很有趣的是,主要是來自北京/清華大學。美國猛力壓制中國的運力運算,造就不太需要Compute的方法的發現,戳破美國AI泡沫,這會是非常的諷刺。
--
蒜粒概念股有嗎
可惜民進黨逢中必反 根本反智
中國沒有a100也可以發論文?
嗯,先拿點實際的東西出來看看
種蒜用農藥,重返榮耀哪一間我就不說了
說得很好 繼續加油啦
實作的出來再吹
這時候崩真的好,大家就可以xdd
算力需求根本沒極限 結案
可惜民進黨逢中必反 根本反智
對於降低資料頻寬的追求跟美國打不打壓沒關係啦
喔
投資那麼多算力,結果沒辦法賺錢,目前很多AI產品
的狀況
沒有算力才在那邊搞五四三,最終還是回歸算力追求
大紀元
跟縮小晶片跟先進封裝兩條線不衝突一樣
理論上時光機也做得出來,理論上啦!中或贏,要加
油餒…
之前以太幣也是出現更有效率的挖礦法 結果沒人再用
顯卡挖 AI感覺也是遲早的事
美國用這個技術訓練更大的模型?
中文太爛,重寫一遍
我很懷疑你到底知不知道自己在講什麼
就是沒算力才在那邊搞東搞西的,等這東西真的弄出來
,人家瘋狂買算力的都跑多遠了?
好了啦 你賺多少
優化架構本來就一直存在 把這個扯成跟打壓晶片有關
?問號
還在理論可行沒實作的東西看看就好 不要又搞個超導
體笑話
你是誰
這麼說好了 gpu遲早會降價 沒錢的公司可以等價格合
理再買阿
又是太監在自慰不用性生活ㄏㄏ
大學的論文著重在理論,是的理論!!
這文字看了就頭痛
看到吹強國就可以不用看了
大大你在電蝦版吹的MSI Claw
好像是跑分80 性能40欸
這樣還賣的比Ally貴是怎樣..
說得很好,下次別說了
可4現在AI專家們都爽用CUDA欸,而且大力出奇蹟呢
跌了就出來透氣了
看到吹強國就知道可以跳過了
工程師:改算法太麻煩惹,我們直接大力出奇蹟吧~~
戳破再說 先搞個比sora厲害的出來我就相信
補噓
好 中國又贏惹 贏兩次
之前吹量子 吹爆了改吹AI
中國又來贏了,推文有些人又被空氣碰到就高潮跳針
民進黨了
擋人財路不怕死嗎
中或贏
這次跟.com差那麼多
AI發展到現在只有論文標題愈來愈像農場文是真理
中國還在用算盤解算式嗎?
中共還沒死?
寫得不錯 適合丟給AI翻譯一下
算力高也不見得做的出好ai,等老黃出算力補偵
美國人不習慣省錢
我覺得中國量子電腦搞出後ai就會領先世界 又雙贏
現在主要是大家都要搶頭香,agi這種東西第一個做出
來的人直接自霸軟體界,一個24小時不休息會思考記
憶無限的天才員工,有什麼軟體是他寫不出來的
變linear有差,省個運算你以為老黃就會怕了?
論文作者一半以上是微軟亞洲研發的員工。我是在釣XD
就中國貪小便宜以為自己聰明!
噓的人多少人付費買AI產品過?
我懷疑有1/3就不錯了
chatgpt噓的有多少人是付費會員?
喔
這跟三星超車台g的言論,哪個可信度高?
怎麼會覺得算力高的公司沒有在優化自己的程式阿??
嘻嘻
overbooking 丸子
量化太多精確度會下降 確定要拿這個講不需要算力嗎
我覺得蠻難的,有些問題變interger反而更難
呵呵,信的去放空輝達阿,笑你不敢而已
而且運算變簡單不一定等於算力需求降低,反而讓十
倍百倍大的模型變的可能,說不定相反變ai爆炸
只是贏家可能換人而已,說不定回頭做fpga了
中國或成最大贏家
還以為是什麼,原來是彎道超車啊
優化是一定要優化 但不代表硬體需求一定會滿足
下次先把吹中國放文章開頭好嗎,省得浪費時間看整篇
中又贏
結論:中或贏
看起來只有理論 沒有實作? 紙上談兵??
中或贏
又 這個會否跟ram很像 你說不需要太多ram就能做?
ram是愈多愈好 沒人嫌少
有3.9B的,70B的還在路上。如果這可行,就不需要
AI又不會向領導敬酒下跪繳紅包,這在共慘就是完全沒
用的東西
GPU做inference。普通CPU就可用了,這是關鍵。
彎道超車 拓海還是填海?
本來贏者全拿的,現在每個人都有機會。int add很容
易的。然後本來是compute限制的,現在回到data限制
這不就是大部分晶片都12奈米,所以1奈米不用花錢研
發了的理論嗎?
誰有好的data足夠的data會是目前的領先者。
中國或成最大贏家
爽,遙遙領先,XDD威武
這文似乎觸發了什麼東西
他這東西問題在尼所有model都要重新train
training的硬體需求大概沒變
Training 才是這篇比較有價值的點吧
Inference 本來就有quantization,這又不是第一天
的事,大驚小怪喔
inferencing的話現有的gpu也可以跑int8
路上asic公司倒是一大堆惹
整體來講大概就下一代model等級的東西可以塞這帶的
硬體 沒惹 反正ai公司還是會想辦法把硬體塞滿
ai model膨脹的速度太快惹 摩爾定律的四倍
論文都給數據了 說沒實作的真的有看文章?
論文…跟實作別混為一談
認真文,謝謝
東西放出來給大家用了再說
輕鬆一百倍那巨頭的算力不就是一百倍?你以為這個
技術美國人拿不到?
給巨頭一百倍的AI應該可以生出新的應用了吧繼續噴一
百倍
又來考古了,AI是未來100年的發展,還在2000年的教
訓,都被教訓到快4萬點了還教訓啊
軟體是隨著硬體成本降低而泡沫化還是隨著硬體成本
降低而蓬勃發展,你再想想
99猩猩 5555554 QQ
可惜美國逢中必反 根本反智
笑死 推文一堆政治腦
好啦 中國又贏 開心了嗎
哥布林說別人反智
把實際東西拿出來再說吧 intel也說能造出2奈米阿
阿東西勒?只能實驗室做出來無發量產 搞笑唷
逢中必反真可怕
占國廁可以不要再來亂了ㄇ
所以量產了嗎?
運力運算只會越來越多,跟你研究出效能改善...
兩回事...
ai是不是泡沫還不得而知...
中或贏
好 輝達身家空 目標價2元 收到打收到
Training跟inference都沒搞清楚你還是先回去唸書吧
蘋果算硬體還是軟體商
你用的資源少又怎樣,還不是要更多硬體一起算
這東西4微軟中國研究院的所以其實講中或贏應該還早
逢中必吹,中又贏
難得會想在股版噓人
中國又贏了
Nv真的很多人沒上到 一堆招
中國要贏多少次?
繼續幻想
中又贏
永動機的實現終於出現了嗎
中國的車我先不上
正確 AI泡沫了 10年後再來
真的做到再出來吹 很會唬爛
Training 跟 inference 是兩回事
如果CPU可以靠特殊指令集達到和目前一堆ASIC一樣的
推論效能,那的確是x86陣營的大機會
反指標的咖洨
網路泡沫(x). 達康泡沫(o) for 2000
各位,中國又贏啦
少來 真出來股價就會跌了 我看還繼續往上噴勒
北京清華是個出產奴工的好地方,但說他們能搞啥
創新?哈哈哈哈
中國又贏了XDD一直贏一直贏,喔對了 再一年就2025了
,怎麼還是被美國吊打XDD 中國韭菜就是要任命啦,美
國肛中國;中國韭菜被黨肛QQ
未看先誰中國又贏
彎道超車概念 但你不要以為ㄧ直在彎道會變曲速XD
語言模型夠了就加上視覺模型
視覺夠了再塞物理模型
要說算力夠了還太早吧
這種文大家就別認真了
cannedtuna這點子不錯耶 QQ等等搞一個測測看
要修改LLM結構,然後重新弄一套高效的,再訓練,通
常時程不會贏大力出奇蹟的。
現在瘋搶H100就是要拼時間上灘頭。
大力出奇蹟就scaling law所預測啊不過1b fgpa model
已經很久以前就有 shannon都可以拿來預測上限
不過mamba只是為了解決infernece 他在training端
還是有一堆限制和缺點RNN缺點就是不能並行運算
然後mamba那個做法會無法有效利用tensor core
GPU inference?
Mamba用prefix-sums來避開rnn不能平行運算的問題。
樓上 那玩意不能有效利用tensor core
Google最新那篇設計就好很多BlockState Transformer
StateSpace+Transformer 我個人覺得比較符合現在
parallel scan(prefix sums)可以用tensor core啊。
只是比較麻煩而已。Mamba的問題是"selective"會不會
太loosy。目前看來是沒問題的,但還是需要更大的
以A100為例 fp32(19.5Tflops) Tensor-core(156Tflop
model來證實。Mamba最重要是"context"可以變得很大
當你有unlimited context的時候。直接就用zero shot
learning了,RAG就不需要了,更容易使用。
mamba優點就是hidden state update會根據input調整
QQ這幾天來實作一下mamba好了 看一下訓練的成本
扯到底中國為何CV LLM可以這麼強
中國自我安慰罷了 可憐那
不是啊...就算真的能無損效能改int, 那改完int省出
來的算力我也可以繼續擴增模型尺寸啊, 模型變大能
做的事更多更好一樣甩你好幾個車身, 不加大模型我
也可以加快運算效率啊, 影片即時翻譯字幕比你快比
你精準還是把你壓在地上摩擦, 追根究底算力碾壓的
前提下還在妄想什麼彎道超車?
連晶片都要手工的國家,你吹慢慢吹
上次一堆韭菜被詐騙,這次一定不一樣對不對
笑死 一堆不懂AI的在亂噓 我公司在小模型可以重現
這對降低成本還有inference速度有很大的影響
這是今年以來最重要的Paper
爆
Re: [新聞] 學家:美股AI熱潮像是2000年網際網路泡沫AI有沒有網路泡沫的影子,絕對有 但AI炒作過熱了嗎? 也太小看網路泡沫了吧 回顧歷史看一下 以下都是週K線94
Re: [新聞] 輝達傳再推中國特供AI晶片 最快「這時」老黃應該是有機會能繼續用黃家刀法 用高階價錢賣低階產物給中國 從美國的最大化利益角度來想 美國也會希望老黃賣次級的晶片給中國 這樣就某種程度能最大化阻滯中國發展 和弱化中國科技樹發展 比方說 中國最近的華為昇腾910B AI晶片號稱對標A100 已經賣給百度作為AI開發用途 如果說中國目前上面自製化晶片算力是10 那A100是30 H100是50 那老黃只要賣給中國晶片60
Re: [新聞] 輝達掀AI熱潮 救不了整體市況!專家:現結論就是短時間三年內是NVDA獨大, 中長期硬體效能拉上來甚至效能過剩, NVDA 三五年後的優勢就不會有現在這麼大, 拉更長遠的五年後, 重點會在軟硬體整合的應用程式與服務的大廠, 類似ChaptGPT, MSFT, GOOG之類23
Re: [新聞] 減少依賴輝達 傳微軟將推自研首款AI晶片每次討論到Nvidia 就會引戰, 但是看到一堆不實的指控, 又會讓我忍不住想說明, 然後就引戰刪文,無限循環 先說結論:CUDA7
[黑特] 賴清德暢談AIAI專家李正皓在專訪時 特別針對AI發展訪問了賴清德 賴清德提出 要研究AI技術跟AI應用9
Re: [問卦] 比特幣粉如何說明其不可替代性?提供大家看兩個有趣的小短片 第一個是1995 年,「網路」是怎麼被拿來當作 talk show 的梗。 第二個是一個三分鐘情境戲劇,一個拿黃金,想要說服商家使用黃金當作貨幣的雙面諷刺。X
Re: [討論] 在台灣學AI是一個大陷阱?講實在話 OpenAI / ChatGPT 之後會不會變成泡沫都不好說 現在只是大家覺得新奇 一陣子後可能就發現 阿也不過就是這麼回事 然後就... 再者像Large Language Model或就是所謂的big data這種東西 就是大國跟科技巨獸才 有辦法玩 撇開硬體、電費要燒得前都先不談 後面的big data就不是弱小國家有辦法碰的
18
[標的] 2603.TW 長榮 討論17
Re: [請益] 未來實施資本利得稅的可能15
[標的] 2316楠梓電 清醒多50
[請益] 所以下週Nvidia 財報要all in 嗎?4
Re: [請益] 未來實施資本利得稅的可能4
Re: [請益] 清流君:All in對了。他真的對了嗎?5
Re: [新聞] 川普提名「反疫苗論者」小羅勃甘迺迪任11
Re: [請益] 分析師是不是怎麼樣都能講7
Re: [請益] 分析師是不是怎麼樣都能講3
Re: [請益] 分析師是不是怎麼樣都能講