Re: [新聞] OpenAI:已掌握DeepSeek盜用模型證據

笑死!你這資訊門外漢就別在這耍寶自曝其短了!

我從來就沒有跟你爭論效率的問題

我爭論的是資料來源的正確性

蒸鰡模型是基於原有模型的再訓練

也就說他繼承原有模型的瑕疵

https://reurl.cc/26ea16

而且因為資料刪減的結果將導致資訊損失

最終甚至可能導致模型坍塌

這就是因為某些資料被過度放大的結果導致訓練結果嚴重偏差

網路上已經有很多論文證明此一結論了

你連別人在講什麼都沒搞清楚

就不要在這野人獻曝出來丟人現眼了!

回去多念點書再來好嗎

https://36kr.com/p/2303919815749129

然而，来自牛津、剑桥、帝国理工等机构研究人员发现，如果在训练时大量使用AI内容，会引发模型崩溃（model collapse），造成不可逆的缺陷。

也就是，随着时间推移，模型就会忘记真实基础数据部分。即使在几乎理想的长期学习状态下，这个情况也无法避免。

因此研究人员呼吁，如果想要继续保持大规模数据带来的模型优越性，就必须认真对待人类自己写出来的文本。

※ 引述《lono (lono)》之銘言：
: 你發這種文章
: 大陸人就知道這裡是井蛙版了
: : 別別這種蒸鰡效果是基於原有資料的基礎上加工
: : 如果原本的資料無法回答的問題
: : 蒸鰡出來的結果也不可能
: https://i.imgur.com/Hq1Xx9m.jpeg

2024才發表的論文過時?我看你是看不懂在胡扯吧!

[Submitted on 7 Oct 2024 (v1), last revised 8 Oct 2024 (this version, v2)] Strong Model Collapse Elvis Dohmatob, Yunzhen Feng, Arjun Subramonian, Julia Kempe Within the scaling laws paradigm, which underpins the training of large neural networks like ChatGPT and Llama, we consider a supervised regression setting and establish the existance of a strong form of the model collapse phenomenon, a critical performance degradation due to synthetic data in the training corpus. Our results show that even the smallest fraction of synthetic data (e.g., as little as 1\% of the total training dataset) can still lead to model collapse: larger and larger training sets do not enhance performance. We further investigate whether increasing model size, an approach aligned with current trends in training large language models, exacerbates or mitigates model collapse. In a simplified regime where neural networks are approximated via random projections of tunable size, we both theoretically and empirically show that larger models can amplify model collapse. Interestingly, our theory also indicates that, beyond the interpolation threshold (which can be extremely high for very large datasets), larger models may mitigate the collapse, although they do not entirely prevent it. Our theoretical findings are empirically verified through experiments on language models and feed-forward neural networks for images.

聽你在騙，DeepSeek-R1一樣有用到SFT好嗎! DeepSeek-R1採用多階段流程訓練，結合了監督強化（Supervised Fine-Tuning, SFT）和 強化學習（Reinforcement Learning, RL）技術。學習，最後再進行一次這種監督梯度和 強化學習。 然後GPT-4 一樣是 Transformerd 模型架構,再加上 RL (Reinforcement learning, 強化 學習)，還不是出現比前一代效率下降的情況，如何證明使用RL就可以有效避免模型崩潰 ？

然後GPT-4 一樣是 Transformerd 模型架構,再加上 RL (Reinforcement learning, 強化 學習)，還不是出現比前一代效率下降的情況，如何證明使用RL就可以有效避免模型崩潰 ？