Re: [新聞] 日本AI研究第一人這樣評價Deepseek

https://i.imgur.com/Y6gj6VU.jpeg

deepseek說自己是基於gpt 3.5或gpt 4的架構，並且核心模型是gpt 3.5/4

gpt3.5/4是openai的商品

請問這樣他是蒸餾opanai的開源還是自己從無到有開發的？

※ 引述《enunion (回來囉)》之銘言：
: 三民治以及蟾蜍網紅
: 很喜歡用北一女筆記這個比喻去打DS
: 應該是當時候收錢
: 給的文案就是這樣寫的吧
: 但是對AI有一點概念的人
: 看了真的覺得在瞧不起人民智商
: 根本是在亂噴
: 對AI有興趣的
: 強烈推薦台大李宏毅老師的頻道
: https://youtu.be/cCpErV7To2o?si=fhemvtkydilYOMwt
: https://youtu.be/Q9cNkUPXUB8?si=Sb2uv6f1KWu1XnlC
: https://youtu.be/v12IKvF6Cj8?si=KBFxIZn6KfNDNQoR
: 簡單來說
: AI的成形分三階段
: 比較好的比喻是
: 第一階段是生一個小朋友（pretrain）
: 第二階段是讓他學校上課學習（督導式學習）
: 第三階段則是對這位小朋友的回答提供反饋(RLHF), 告訴他哪一個回答比較好
: 很明顯第一步要生出小朋友是比較困難的
: 要花很多的資源去train一個模型
: 打造他的樣子 捏他的臉型 膚色 外型比例之類的
: 這也是為什麼OpenAI 和meta花了這麼多錢的原因
: 而台灣乃至美國的學校所謂的發展AI
: 大部分都是拿這些Meta開源的模型(小朋友）
: 去用他們自己的資料去微調參數
: 有點像是讓這些Meta生的小朋友
: 去不同學校上課
: 培養出不同個性和學識的小朋友
: 這個就相當簡單
: 簡單到幾個禮拜就可以做完
: 也不用花什麼錢
: 所以當你看到新聞
: 說什麼哪個學校或哪個機構發展自己的AI
: 花的時間少 成本還很低
: 你可以看看就好
: 沒什麼稀奇的
: 而 Deepseek 呢？
: 他是和那些學校和機構一樣
: 拿別人已經生出來的小朋友去上學
: 就說自己發展出AI了嗎？
: 人家可不是這樣
: 他跟OpenAI 和Meta一樣
: 都是從頭開始
: 自己捏出一個自己的小朋友
: 生出這個小朋友的成本還極低
: 而且在運作時
: 這位小朋友消耗的能量也少
: 生的時候花的力氣少
: 生出來後吃的東西也少
: 這是什麼神仙寶寶
: 這才是各界震驚的原因
: Deepseek的確是讓人類在AI發展邁進一大步
: 並不是三民治在那邊造謠就可以抹滅
: 有良知的媒體和政府
: 應該讓人民認知我們自己目前的不足
: 然後砥礪大家前進
: 而不是拿一塊布把大家眼睛遮住
: 一直騙說別人只是作弊
: 我們沒有很差
: 把時間浪費在造謠和口水
: 倒不如把時間花在了解和學習
: 人家跑在前面又怎樣
: 努力跟上去就有機會反超
: 而不是自欺欺人
: 導致永遠地落後
: -----------------
: 附上懶人包
: 簡單介紹AI成形三階段
: 再次感謝李宏毅老師的貢獻
: http://i.imgur.com/6KO6GvX.jpg