Re: [情報] 50美元訓練出媲美DeepSeek R1
大家都被訓練成本給迷惑
說穿了訓練AI就像培養人才
真正重點是"教材內容正確性"，以及"學習成果的評價回饋" (就是老師要改作業)
對應的是"輸入資料正確性"，並且存在"有效的回饋機制來修正權重"
資料部分雖然OpeAI/Gemini基本已經將網際網路上公開資料爬完
但還有許多真正有用的專利知識屬於商業機密
但只要是機密就不會公開，所以各家AI模型壓根沒有學習的機會
(這也是多數公司想用開源DS做本地訓練&部署的原因--保密)
而回饋機制則需要建立一個能夠足夠精確的虛擬真實世界系統
才能讓AI在其中去進行各種試錯，得到回饋進而學習
但這明顯互相矛盾
人類正是因為知識不足，故無法打造出一個"足夠真實的虛擬世界"給AI做回饋用
所以這就造成現有的大模型能創作、能畫畫、能唱歌
但對於多數需要物理、邏輯能力的進階用戶並無明顯助益
畢竟專家都會讀paper/google，大模型只是再幫你濃縮整理一次公開資料罷了
即便再怎麼加強推理過程機制，但缺乏足夠真實的虛擬系統給AI試錯
也就沒有回饋作用，起不到讓AI持續修正權重(進化)的作用
簡而言之現階段即便奧特曼再怎麼嘴砲，孫正義有再多錢砸
訓練出來的LLM終究是google濃縮器、PPT產生器、詩詞吟唱器罷了
※ 引述《ImHoluCan (爺)》之銘言：
: 好的
: google 要不要把昨天財報上的說750億設備支出
: 變成50美元支出？
: 李飛飛能直接表明蒸餾Google
: Google 最好不知道還給你研究所蒸餾
: 那昨天Google 財報2025還要支出750億呢？
: 還是明天台灣派人去蒸餾meta Google chatGPT?
: 看看他們要不要給蒸餾
: ※ 引述《LimYoHwan》之銘言
: : 標題：
: : 李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型
: : 來源：
: : Futu
: : 網址：
: : https://tinyurl.com/ydrtdbu8
: : 內文：
: : 李飛飛等斯坦福大學和華盛頓大學研究人員近日以不到50美元的雲計算費用訓練了一個名
: : 叫s1的人工智能推理模型。該模型在數學和編碼能力測試中的表現與OpenAI的o1和DeepSe
: : ek的R1等尖端推理模型類似。研究人員表示，s1是通過蒸餾法由谷歌推理模型Gemini 2.0
: : Flash Thinking Experimental提煉出來的。
: : https://i.imgur.com/kFg9GjU.jpeg
: : 。
: : S1 僅使用 6 美元就能達到 OpenAI o1-preview 級別的推理性能！同時匹敵Deepseek R1
: : 推理時間可控：S1 通過簡單的“Wait”機制，控制大模型的思考時間，提高推理能力。: : S1 不是 OpenAI o1 或 DeepSeek R1 的直接復刻，但它揭示了在推理時微調 AI 的潛力
: : ，甚至可以媲美 Reinforcement Learning（強化學習）。
: : OpenAI 和 DeepSeek 早期研究發現，AI 在回答問題時“思考得更久”，往往能得出更好: : 的答案。但過去並沒有清楚解釋：如何在推理階段控制 AI 的思考時間？
: : S1 的創新點： S1 論文提供了推理時間擴展（Inference Scaling）的具體實現方法：: : 核心思想：
: : 如何在不改變 AI 訓練過程的情況下，提高 AI 解決複雜問題的能力？
: : 方法：讓 AI 在推理時“多想幾秒”，自動檢查自己的答案，從而減少錯誤，提高正確率: : ！
: : 結果證明，這種方法比 OpenAI o1-preview 還要好！
: : 最重要的是：而且只用了 1000 道題！ 這比一般 AI 訓練的數據少了 800 倍，但效果仍
: : 然很強！
: : 此外，該模型可以在筆記本電腦上運行，並且其訓練成本僅為 6 美元。
: : 論文下載
: : https://arxiv.org/pdf/2501.19393
: ----
--
這樣不夠嗎？
現在都在用AI探索未知的知識了像蛋白質
如果公司機密也當成未知的知識 被AI破解也早晚而已
沒阿 DS推理不用人類介入 自己跟自己對羿
下棋是最好回饋的機制，根據規則就能判斷勝負，絲毫沒有模糊的空間 但物理方程式的推導呢? AI能夠根據思維鍊輕鬆創造出幾百個前所未有的方程式 但AI怎麼驗證對錯? 怎麼去驗證是否符合人類所處的宇宙?
少了人類打標籤
所以你真的懂生成式AI?
建議您先去了解，為何黃仁勳要創造一個虛擬工廠，來訓練AI機器人的原因吧!
過程中的煙花 不重要的軟體 不用一直理它 發文
更是浪費
好吧那AI還是拿來作meme吧
別的先不扯，目前光是AI LLM可以自己去生成思維鏈
如果只是這樣，幹嘛花一堆錢堆算力？堆
算力不會提升模型的智力嗎？同樣擁有全
世界的資料，智商140跟90差異會很明
顯吧？
（CoT）就夠厲害了!學習反饋LR就夠讓人期待未來。
強調一下我說的生成思維鏈是像圍棋一樣去想"棋路"。
同上 下棋有明確勝負，不重複解釋 各種回饋寫法並不是重點，而是AI如何能得到"是否符合人類世界"的回饋? 就像愛因斯坦推導狹義相對論方程，但還是需要愛丁頓在非洲觀察日食來驗證 除非人類能創造出一個無限逼近於現實世界的虛擬系統，能讓AI在其中無限試錯學習 否則任何自回饋都只是幻覺罷了
李飛飛定義裡AI有兩個面向，語言跟行動
AI大師要帶領台灣組AI team 嗎？
她們現在在做的就是行動那部份，語言已經是上一趴的
事了
你以為AI 只有LLM ?
推這篇文章，能否真的做出世界模型，仿造真實世界物
理規則才是ai能夠實際應用的重點。
我們行為舉止很直覺的事，現在要轉化成電子輸出還很
困難
黃董2月不是有講？ 你AI大師怎麼不上台？
台廠有半島體廠已在用機器人，就Nvidia 搞的，你沒
看過？
現有的邏輯都是PLC預先編程寫好的 好像還沒見過能即時自主推論的機器人在線上
理論物理學家要什麼回饋？輕小說家有去過異世界？
真的不進產線的ㄧ堆肥貓，不知道台廠有在搞這塊
機器人早就在搞，對岸也早在搞，是台灣ㄧ般人除了
產線仔有些會看到，其它大肥貓都沒進產線，還以為
黃董搞機器人是亂講
難怪台灣沒有DeepSeek ，我也是代工仔
你連看都看不懂人家在搞什麼，還工廠...
只要申請專利就是公開技術了 各國的專利申請機構都
能查到專利內容 找不到的是被公司列為機密文件的技
術 但通常也能透過一些研討會找到線索
其實隨便一個產品的硬體設計圖就機密文件了啊 AI再
怎麼會google也撈不到資料啊 除非有人外流到網路上
像這類問題去問AI永遠得不到正確答案
這篇正解
能力限制了你的想象。
所以你認為你的世界也是幻覺
標準錯誤答案
不知道你的AI是哪個老輝阿教的
錢賺得不夠的慘業多連機器手臂都沒看過QQ
爆
首Po標題： 李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型 來源： Futu 網址：![[情報] 50美元訓練出媲美DeepSeek R1](https://i.imgur.com/kFg9GjUb.jpeg "[情報] 50美元訓練出媲美DeepSeek R1")
33
基本上這是一個完全由美國本土的大學團隊成員 研究的成果，李飛飛是從小就移民美國的美國 人，本身是美國國家工程學會院士，如果這個也 算捲的話應該是美國人自己也在卷AI科技而且 還比之前的DS更狠，就看之後能不能提供上傳![Re: [情報] 50美元訓練出媲美DeepSeek R1](https://img.youtube.com/vi/3O7b2HZCXKM/mqdefault.jpg "Re: [情報] 50美元訓練出媲美DeepSeek R1")
47
好的 google 要不要把昨天財報上的說750億設備支出 變成50美元支出？ 李飛飛能直接表明蒸餾Google Google 最好不知道還給你研究所蒸餾9
讀完了 稍微整理一下這篇 這篇基本上就是#1dccCRfj 就是CoT synthetic dataset 透過母體大模型去設計一連串思考問題(這邊是用Gemini) 來應對一個困難任務 而此時新模型能更好地學會思考 這篇文章列了好幾個synthetic dataset的樣板![Re: [情報] 50美元訓練出媲美DeepSeek R1](https://i.ibb.co/7dS1fSnD/Screen-Shot-2025-02-06-at-9-38-26-AM.png "Re: [情報] 50美元訓練出媲美DeepSeek R1")
23
連結或內文，完全是錯的。 根本是腦殘媒體在亂寫。與論文事實不符。 先說論文結論： 模型表現： 經過不斷的做實驗試錯，![Re: [情報] 50美元訓練出媲美DeepSeek R1](https://img.youtube.com/vi/yD5Zdk79X68/mqdefault.jpg "Re: [情報] 50美元訓練出媲美DeepSeek R1")
這位大大 你真的很喜歡批評別人耶 這篇示範的是synthetic dataset disillation概念 為何叫做是dislillation是因為用大模型的知識去創作出的數據集 還推說這是這篇作者自己捏造蒸留定義 學術圈沒人這樣做... 這樣很不好耶...這明明就是一個正統的學術圈常用詞![Re: [情報] 50美元訓練出媲美DeepSeek R1](https://huggingface.co/blog/assets/open-r1/thumbnails.png "Re: [情報] 50美元訓練出媲美DeepSeek R1")
2
我的信息源說是1000個樣本是通過gemini得到，但是又以通義千問為基底模型進行監督微調而來的神奇表現 包括全球很多類似路綫都是藉鑒通義千問才能達到這樣的驚人效果，非李飛飛一家做到 這才是最奇怪的。 今日鼓點：大A乘風直上，就像哪吒2的票房 ※ 引述《DrTech (竹科管理處網軍研發人員)》之銘言：![Re: [情報] 50美元訓練出媲美DeepSeek R1](https://img.youtube.com/vi/Run03PWXGBc/mqdefault.jpg "Re: [情報] 50美元訓練出媲美DeepSeek R1")
爆
Re: [問題] 繪師有權力禁止別人學習畫風？兩邊都有學一點，試著回一下： 「繪師能不能禁止AI學習他的畫風？」 其實這個問題預設條件就錯了，現行的AI其實追根究柢到最後都是統計技術， 那種「會自己思考」的AI還不存在，可能也還要很久才會出現。 現在所謂的AI技術幾乎都是指深度學習、類神經網路等技術，29
Re: [討論] OpenAI GPT o1模型OpenAI 最近推出了 GPT-o1，但很多人可能還沒意識到這件事的嚴重性。事實上，OpenAI 已經找到了一條通往 AGI（通用人工智慧）的階梯！這個新模型的關鍵在於，它已經整合了 ToT（思維樹）和 RL（強化學習），在大型語言模型（LLM）領域達到了類似 AlphaGo Zer o 的水準。 很多人以為 LLM 就是個「刷題機器」，記住了大量的資料，所以我們在人類記憶力上輸了![Re: [討論] OpenAI GPT o1模型](https://i.ytimg.com/vi/eaAonE58sLU/sddefault.jpg "Re: [討論] OpenAI GPT o1模型")
23
Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣 AI = 模型的程式碼+訓練 能開源的部分只有程式碼, 訓練是看各自調教 模型的能力夠, 差不多的調教方式就會得到差不多的結果 訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強![Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據](https://i.imgur.com/ey5mX61b.png "Re: [新聞] OpenAI：已掌握DeepSeek盜用模型證據")
14
[爆卦] 50美元訓練出媲美DeepSeek R1李飛飛團隊用不到50美元訓練出媲美DeepSeek R1的AI推理模型 李飛飛等斯坦福大學和華盛頓大學研究人員近日以不到50美元的雲計算費用訓練了一個名 叫s1的人工智能推理模型。該模型在數學和編碼能力測試中的表現與OpenAI的o1和DeepSe10
Re: [問卦] DeepSeek成本這麽低的原因是啥？目前的推測應該是跳過了訓練模型的部分 也就是說不是從0開始構築AI模型，而是用成熟的AI模型來訓練，避免掉很多無謂的試錯 或空轉，也就是之前新聞在說的「蒸餾技術」 AI 系統中的 「蒸餾技術」（Knowledge Distillation，知識蒸餾），是一種 模型壓縮 （Model Compression） 方法，主要用來讓較小的模型學習較大模型的知識，同時保持高2
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據→ William: 現代ML跟混沌有關？也太亂套了... 223.137.83.145 01/30 15:55 → William: 還有deepseek的實作就不是你想像的用同 223.137.83.145 01/30 15:59 → William: 一份資料重複學習.. 223.137.83.145 01/30 15:59 → William: deepseek r1跟你的論文的實作就不同..先 223.137.83.145 01/30 16:13 → William: 去看過deepseek的論文再來討論.. 223.137.83.145 01/30 16:13![Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據](https://cdn.discordapp.com/attachments/1075623538842673192/1334436398648004689/image.png?ex=679c863e&is=679b34be&hm=b101f250cffc4ea5286a8771d55b73feaa72adccf9387039e2ca205e693a086b& "Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據")
4
[問卦] AI的湧現能力以及人類智慧的起源最近AI很夯 但是大家有沒有想過 其實大型語言模型做的事情就只有一個 就是“文字接龍” 那為什麼文字接龍可以讓AI看起來似乎有了智慧![[問卦] AI的湧現能力以及人類智慧的起源](https://img.youtube.com/vi/iP_7y6n2IFo/mqdefault.jpg "[問卦] AI的湧現能力以及人類智慧的起源")
3
Re: [問卦] deepseek 到底是不是抄的 風向好亂Deepseek AI的訓練過程確實有用到蒸餾技術 蒸餾技術，就是在前人製造AI(例如chatgpt)的基礎上， 拿別人AI的回答當作訓練自己AI的材料 這種作法雖然有點像抄襲他人AI的能力，但在學術界已經是行之有年的做法 各國很多頂尖實驗室都用過這種方法訓練自己的AI
Re: [問卦] 研究說AI模型已經能自我進化了耶微軟的這方法就跟Alphago的訓練方式一樣，但這僅限於單一學科數學做強化學習，而且這 類型問題一定要有標準答案才能這樣玩，藝術寫作之類的就沒辦法這樣搞，OpenAI的O1就是 大模型用這方法，希望能把推理效應帶到不同領域的資料，但現階段看來非STEM類型的還要 用別種方案當verifier 才能做強化學習 其實最早在2023/10就已經有驗證這方案是成功可行的，當時叫QStar![Re: [問卦] 研究說AI模型已經能自我進化了耶](https://img.youtube.com/vi/jByDZdRxiSs/mqdefault.jpg "Re: [問卦] 研究說AI模型已經能自我進化了耶")
95
[情報] 114年03月25日 三大法人買賣金額統計表![[情報] 114年03月25日 三大法人買賣金額統計表](https://i.imgur.com/YTEdNAab.jpeg "[情報] 114年03月25日 三大法人買賣金額統計表")
36
Re: [新聞] 今年通膨又要破二了？主計長：調漲電![Re: [新聞] 今年通膨又要破二了？主計長：調漲電](https://i.imgur.com/5QtKe8Vb.png "Re: [新聞] 今年通膨又要破二了？主計長：調漲電")
38
Re: [新聞] 今年通膨又要破二了？主計長：調漲電45
Re: [心得] 03月當沖心得-已畢業![Re: [心得] 03月當沖心得-已畢業](https://i.imgur.com/36h0BjQb.jpeg "Re: [心得] 03月當沖心得-已畢業")
23
Re: [新聞] 今年通膨又要破二了？主計長：調漲電![Re: [新聞] 今年通膨又要破二了？主計長：調漲電](https://i.imgur.com/fJwVbhmb.jpg "Re: [新聞] 今年通膨又要破二了？主計長：調漲電")
27
Re: [新聞] 特斯拉股價崩55%！謝金河：馬斯克是![Re: [新聞] 特斯拉股價崩55%！謝金河：馬斯克是](https://i.imgur.com/HfASvL6b.png "Re: [新聞] 特斯拉股價崩55%！謝金河：馬斯克是")
28
Re: [新聞] 今年通膨又要破二了？主計長：調漲電![Re: [新聞] 今年通膨又要破二了？主計長：調漲電](https://i.imgur.com/ApLrJuOb.jpg "Re: [新聞] 今年通膨又要破二了？主計長：調漲電")
22
[標的] 裴洛西持股跟757成分股 重疊度高![[標的] 裴洛西持股跟757成分股 重疊度高](https://i.imgur.com/v4X12XLb.png "[標的] 裴洛西持股跟757成分股 重疊度高")
31
Re: [標的] 4763.TW 材料-KY 40億軋空↗多16
Re: [標的] 6757台灣虎航-多 獲利了結![Re: [標的] 6757台灣虎航-多 獲利了結](https://i.imgur.com/0vyi8eEb.jpeg "Re: [標的] 6757台灣虎航-多 獲利了結")
15
[標的] 6190萬泰科-可轉債公司不想還錢很急多![[標的] 6190萬泰科-可轉債公司不想還錢很急多](https://i.imgur.com/TWuFNBub.jpg "[標的] 6190萬泰科-可轉債公司不想還錢很急多")
14
Re: [情報] 2449 京元電子:公告本公司配合檢調單位執行搜索![Re: [情報] 2449 京元電子:公告本公司配合檢調單位執行搜索](https://pgw.udn.com.tw/gw/photo.php?u=https://uc.udn.com.tw/photo/2024/11/20/2/31100760.jpg&x=0&y=0&sw=0&sh=0&sl=W&fw=1050&exp=3600 "Re: [情報] 2449 京元電子:公告本公司配合檢調單位執行搜索")
7
Re: [新聞] 今年通膨又要破二了？主計長：調漲電價8
Re: [標的] 6190萬泰科-可轉債公司不想還錢很急多![Re: [標的] 6190萬泰科-可轉債公司不想還錢很急多](https://i.imgur.com/1dSujCnb.jpg?fb "Re: [標的] 6190萬泰科-可轉債公司不想還錢很急多")
8
Re: [新聞] 今年通膨又要破二了？主計長：調漲電價![Re: [新聞] 今年通膨又要破二了？主計長：調漲電價](https://i.imgur.com/NQfPoFHb.jpeg "Re: [新聞] 今年通膨又要破二了？主計長：調漲電價")
3
[心得] 投資能喜新厭舊？遇到新歡怎麼辦![[心得] 投資能喜新厭舊？遇到新歡怎麼辦](https://i.imgur.com/aLWZKkFb.jpeg "[心得] 投資能喜新厭舊？遇到新歡怎麼辦")
1
Re: [新聞] 今年通膨又要破二了？主計長：調漲電
Re: [新聞] 今年通膨又要破二了？主計長：調漲電![Re: [新聞] 今年通膨又要破二了？主計長：調漲電](https://i.imgur.com/qibUdanb.jpg "Re: [新聞] 今年通膨又要破二了？主計長：調漲電")
[心得] 台股上漲166點收22,273點![[心得] 台股上漲166點收22,273點](https://profile.line-scdn.net/r/g2/group/og_tag_default_image.png/c.496x273 "[心得] 台股上漲166點收22,273點")
[情報] 0325 上市投信買賣超排行
Re: [新聞] 今年通膨又要破二了？主計長：調漲電
[情報] 0325 上市外資買賣超排行
[情報] 5439高技 達注意標準 2月自結0.7元
[情報] 2820 華票 113年股利 0.78
[情報] 美國衛生部長鼓勵農民讓禽流感擴散大爆發![[情報] 美國衛生部長鼓勵農民讓禽流感擴散大爆發](https://static.scientificamerican.com/dam/m/3b929d8094c5cb81/original/GettyImages-2200511638.jpg?m=1742416894.759&w=1200 "[情報] 美國衛生部長鼓勵農民讓禽流感擴散大爆發")