[問卦] ChatGPT o3新模型怎麼防蒸餾?
Deepseek公布了低成本蒸餾法
能把現成的LLM模型以另一個模型蒸餾出來
省去初期開發成本以極低的成本搶佔資本市場
o3新模型就面臨抉擇
1.開放API等著被模型各種蒸餾
2.限縮API 單次成本太高影響市佔跟估值模型
感覺有點死局
有沒有o3怎麼防蒸餾的八卦?
-----
Sent from JPTT on my iPhone
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.59.131.238 (美國)
※ PTT 網址
噓
錢給貪汙媽寶比較爽
推
他國事務 反正台灣做不出來 只會騙補助
→
中美大國之間AI戰爭的事
→
白色貪污黨能把錢放進自己口袋比這強多了
→
就法律戰呀 服務規則就說不准用
推
自己先蒸餾一次
→
竹崎綠畜比較扯吧 買兇殺人
推
開源才是根本解決方法
推
白痴才接API蒸
→
才判15年
推
不就鎖IP而已,電商也一堆爬蟲人工網路
→
查價,說穿就很低階的手段,人事開銷也
→
不低,要查到猴年馬月?
→
蒸餾也是很低階的質疑,要訓練機器人變
→
成精,開銷不小,除非小精靈佛心
→
爬蟲爬一年要不被發現,會有幾個帳號
→
會不會有上萬個帳號啊
噓
問化工系
→
怎麼可能串 API 蒸餾,又不是不用錢
→
鎖ip,大量使用要企業簽約
推
現在把焦點引到蒸餾上了。 沒有蒸餾成本
→
高一些而已 模型演算法效率還是屌打你啊
推
靠杯 你不懂什麼叫蒸餾吧
→
等o3出了之後問他啊
→
deepseek平台有中介chatgpt api
→
比較有可能就是中國使用者付費用chatgpt
→
deepseek拿中介的訊息去蒸餾 這樣很省錢
推
就反爬蟲的技術
推
互相蒸餾不就好了 大家在一起成長
→
台灣的廢物政府八年過去了到底做了什
→
麼?蒸餾也沒個影
57
Re: [討論] 其實Deepseek真的很厲害了OpenAI:已掌握DeepSeek盜用模型證據 (中央社倫敦29日綜合外電報導)中國新創公司「深度求索」(DeepSeek)引發的疑慮日 增。OpenAI今天表示已掌握證據,顯示DeepSeek盜用其模型進行開發;業界也指DeepSeek 握有大量輝達H100高階晶片,形同直接挑戰美國出口管制規定。![Re: [討論] 其實Deepseek真的很厲害了 Re: [討論] 其實Deepseek真的很厲害了](https://imgcdn.cna.com.tw/www/WebPhotos/1024/20250129/1200x800_wmkn_324524490661_0.jpg)
44
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據比較好奇這段: 儘管蒸餾是AI業界常見做法,但DeepSeek若利用蒸餾技術來打造自家模型,並與OpenAI競 爭,將違反OpenAI服務條款,因此產生疑慮。 OpenAI婉拒進一步說明或提供證據細節。根據該公司的服務條款,用戶不得「複製」任何 OpenAI的服務,或是「利用輸出結果,來開發與OpenAI競爭的模型」。 各個ai 大語言模型不是都會互相參照比較和訓練嗎? 我以為這是業界常識…![Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據 Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/9N2QFY1b.png)
23
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據各家互相參考, 指的是訓練方法還有訓練的文本挑選, 蒸餾不太一樣 AI = 模型的程式碼+訓練 能開源的部分只有程式碼, 訓練是看各自調教 模型的能力夠, 差不多的調教方式就會得到差不多的結果 訓練方法更好, 或是文本品質越高、越多樣、量越多, 模型就越強![Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據 Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/ey5mX61b.png)
21
[問卦] 別雞同鴨講說抄襲 先搞懂什麼是蒸餾阿肥實在受不了一堆文盲吵不對焦還硬要吵 來先來看看 GPT是怎麼解釋蒸餾的 覺得太長的可以直接下滑到總結 Q: 在Deep learning領域 什麼是蒸餾? 以下來自ChatGPT的回答:![[問卦] 別雞同鴨講說抄襲 先搞懂什麼是蒸餾 [問卦] 別雞同鴨講說抄襲 先搞懂什麼是蒸餾](https://i.imgur.com/VCuiyUXb.jpeg)
17
Re: [新聞] DeepSeek爆紅 藍委放話「台灣等著被智看這篇文章 -its-model-to-train-competitor/ai/amp/ 如果所言不假 那其實就是deepseek 拿人家的大模型訓練自己的小模型![Re: [新聞] DeepSeek爆紅 藍委放話「台灣等著被智 Re: [新聞] DeepSeek爆紅 藍委放話「台灣等著被智](https://cdn.unwire.pro/wp-content/uploads/2025/01/fb_photo-7.png)
8
Re: [新聞]不,你無法用 600 萬美元複製一個 DeepSee呃,這新聞是哪個平行時空新聞,當前一堆美國大學實驗室都已經成功用其他小型模型像ll ama或Qwen 復刻R1實驗了,而且也事實證明模型只要有辦法再訓練的時候盡可能要求模型更 長更多輪的思考時間那就必然會讓模型依據上下文湧現出推理能力。無論模型大小或是否用 deepseek的模型架構。 一堆知名的框架也開始嘗試復刻開源版的R1 Code,我覺得R1幾個比較可行的思路就是改用8
Re: [新聞] DeepSeek暴紅不單純?OpenAI質疑中國對openai只有開源好幾年前的模型 現在meta google m$ 的開源模型都屌打好幾條街了 用過deepseek的人都知道,deepseek是蒸餾上面那幾個開源模型 況且deepseek也有把自己的模型和程式碼都公布出來 開源的精神不就是這樣嗎?6
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據這段一定很多人沒看懂。 正確的說法是,蒸餾可以讓較小的模型(學生)在特定任務上得到比原本的小模型更好, 近似於大模型(教師)的結果。 近似,就不可能比教師模型更好,只會更差。另外由於OpenAI沒有開源,所以這種叫做 黑箱蒸餾。如果可以蒸餾把模型變小可以維持原來的品質,那就一直蒸餾一直蒸餾蒸餾![Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據 Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據](https://i.imgur.com/uznnxpcb.jpeg)
Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據我先講我非AI專業 但這件事情基本就是鬼扯 甚麼叫做利用O1蒸餾出R1 你要用API抓多少資訊量跟TOKEN才做得出來 然後這件事情OPENAI還會不知道?1
Re: [新聞] 成本低廉 中國AI初創DeepSeek震撼矽谷前文恕刪 : 據報導,DeepSeek僅用2048片H800顯示卡 (GPU)、耗時兩個月,就訓練出了一個6710億參 : 數的DeepSeek-V3。相較於Meta訓練參數量4050億的Llama 3,用了1萬6384片更強的H100 : 顯示卡,花了54天。DeepSeek的訓練效率提升了11倍。 這比法很不公平