Re: [新聞] 聯發科AI平台MediaTek DaVinci「達哥」

※ 引述《aPplAus (燦爛)》之銘言：
: 原文恕刪
: 小弟剛好最近有跟到一些台灣LLM的發展，可以補充一下關於模型的部分。聯發科的研究: 單位聯發創新基地，做語言模型有一段時間了，之前有一版Breeze-7B模型，發佈了一篇: 技術論文放在arxiv：
: https://arxiv.org/pdf/2403.02712.pdf
: 論文提到這個模型是從mistral-7B 繼續訓練而成，花了7000小時的H100，灌了650GB的da: ta。如果有一半是中文，325GB，也灌了超過1000億漢字（3bytes=1word)，其實很多了啦: 。
: 然後Breexe是從Mixtral訓練而成，是更大一級的模型，論文好像還沒出，但很多公司都: 有不同大小的模型，做法應該不會差太多（？）。最近有開放API試用：
: https://huggingface.co/MediaTek-Research/Breexe-8x7B-Instruct-v0_1
: 跟ChatGPT的比較，最重要的點應該是，像Breeze-7B這種已經開源的模型，對能架伺服器: 的公司來說，是用越多越賺；跟token收費的ChatGPT 用越多越貴截然不同。Breexe不知: 道會不會開源就是了。
: 達哥的部分，沒有親自用過，但有認識的人用過。基本上就是平台，然後有一些功能，像: 是讀pdf等等。就把AI推廣給更多人的東西，應該是不錯啦。

說真的，發哥做這種東西，我是一點都不期待，以我試過各種開源的 LLM 的經驗來看，幾乎都稱不上通用，唯一可以稱的上通用的就 gpt-4 跟 claude3，開源的模型基本上跟垃圾沒兩樣

你說要收費也還好，你架 server 跑開源的模型難道不用花錢？而且 gpt 的收費有個頃向是越來越便宜了，負載平衡都幫你做好了，說真的現在商用解決方案用開源的模型我真的還沒看過，因為真的用起來的感覺跟 gpt-4 差太多了，不是一直跳針就是答非所問

然後 gpt-5 應該也快出來了，gpt -4 大概率又會大降價

這東西的霸主應該還有很長一段時間會是 openai 啦，發哥還是專注在本業卡實在

-----
Sent from JPTT on my Xiaomi 2311DRK48G.

--

問題是誰幫這些公司訓練跟架 server? 而且資料都有條款說會保密，已經一堆公司在用 gpt 寫 code 了，會在乎這個的我覺得不多啦

算力夠猛的條件下就是錢錢要夠多，openai 至少十萬片頂規 gpu 起跳，台灣哪個公司願意砸錢搞這個？