PTT評價

[問卦] 台灣本土化LLM是不是騙局??

看板Gossiping標題[問卦] 台灣本土化LLM是不是騙局??作者
Qoo2222
(Qoo2222)
時間推噓 推:0 噓:0 →:0

完整的LLM訓練成本極高
可能一次就要兩百萬美金

如果本土化LLM因預算限制只進行fine tune調整
因為pre trained內容以英文為主
處理中文效率差很多
(例如內建的標準tokenizer就很少有中文字)
如果要從源頭改善 就得花費大量的資源重新調整

一個機會是使用中國pre-train的模型
但是這會產生中國詞彙或回答的政治問題

去中又不大量金額投資的前題
本土化LLM是不是騙局?

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.230.78.102 (臺灣)
PTT 網址