Re: [爆卦] 中央研究院詞庫小組大型語言模型
※ 引述《xdbx (羊阿兵)》之銘言：
: ※ 引述《dean1990 (狄恩院長)》之銘言：
: : 本魯也很好奇問了一些問題，
: : 首先是比較基礎的：
: : https://i.imgur.com/zKhx1A2.jpg
: https://imgur.com/a/evMNmWM
: 你現在問它台灣總統是誰 它會說蔡英文了
: 問它台灣是不是國家 也說會
: 問它簡單的問題都會覺得台灣來的
: 但是電腦不會說謊 轉個彎套它話
: 就會發現資料都是被竄改過了
: 它的根源就是個阿六仔
這個語言模型的最大資料來源都是源自於一個世界開放的語料資料庫
其中中文占的比例很少
中文當中繁體中文的資料更少
因此訓練起來 中文其實都不像樣
同時間訓練台灣的內容資料又更少之又少
可以看下圖
https://i.imgur.com/zSPlmC5.jpg
繁體中文只有 0.05% 簡體中文有16%
如果真的要避免繁體中文被消滅
應該要正確的選擇我們要在語言AI模型要貢獻那些資料跟模型
不然再幾年對話機器人都內建中國話
台灣就沒有什麼立場了
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.86.9 (臺灣)
※ PTT 網址
→
台灣還不快點揚棄中文，把官話改成英語
推
可是系統說自己來自中國上海實驗室欸 htt
→
本來就沒有的東西吧 洪流巨變 中
→
我已經灌一堆ACG問答了
推
台灣只到自然輸入法。三星bixby微軟windo
→
ws都沒正體字了，等香港被同化後，台灣可
→
以申請世界遺產了。
推
說不定微軟不想做台灣生意，直接取消支援繁
→
體中文，到時候真的繁體就要被消滅了！
推
世界遺產XD
→
那台灣第一步是貢獻資料?搞繁中模型??
→
把模型繁體中文化需要動用到中研院嗎?
推
塔綠班：我們要發展的是台文 不是中文
→
中研院如果推台文AI那是真的要支持啦!
→
=== 快！叫賴導把限用台羅文列入政見 ==
推
怎麼不講希伯來文 笑死
爆
首Po不知道這研究案領多少錢?![[爆卦] 中央研究院詞庫小組大型語言模型](https://cdn-thumbnails.huggingface.co/social-thumbnails/spaces/ckiplab/CKIP-Llama-2-7b-chat.png "[爆卦] 中央研究院詞庫小組大型語言模型")
3
剛特別來測試 "台灣是獨立國家嗎?"-"不是" "台灣是個獨立國家嗎?"-"是" 這種東西拿出來會不會笑死人了？ --![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/h28uYVwb.png "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
7
本魯也很好奇問了一些問題， 首先是比較基礎的： 接著是大家都知道的：![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/zKhx1A2b.jpg "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
3
復旦大學認證阿北不代表台灣 最後還是抓到阿北中共同路人的證據 原來一切的佈局中共早就計畫好了![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/E2yGGc1b.jpeg "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
X
對於LLM只有這一點認知程度的話，最好不要就這樣出來帶風向會比較好，不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM，不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案，事實上LLM是一個機率模型， 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個，它不是資 料庫，所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://llama-chat-4fcmny015-replicate.vercel.app/opengraph-image.png?0806238e04f3e3af "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
6
現在上不去了 只截到這個 你現在問它台灣總統是誰 它會說蔡英文了 問它台灣是不是國家 也說會 問它簡單的問題都會覺得台灣來的![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/I4MDM0bb.jpg?fb "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
22
看到這篇真的龜懶趴火 語氣還真的他媽的大啊 敢嗆鄉民去上LLM課程啊 誰不知道LLM的正確率一定會有誤差？ 現在的問題是我國最高學術研究機構中央研究院直接拿對岸LLM套 且直接用opencc大量將簡體資料轉繁體資料！1
那是政治上的問題，我說的是說中研院直接拿Atom-7b模型來用的這件事 我想你大概沒有真的去比較過 Atom-7B跟中研院型的一部分 你用中國的模型去問「台灣是中國的一部分嗎?」它的回答是台灣政治上是一個獨立 的國家![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/0QIwKLTb.jpg "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
X
你應該將題目改為"共產黨代表中華民國嗎？" 如果這個程式與很多網路遊戲一樣，不回答這個問題或禁止"中華民國"這四個字， 我們就有理由懷疑共產黨控制這個程式。 : 拿別人的成功來tune一下就可以掛名中研院...... : 有沒有掛?2
阿肥外商碼農阿肥啦！ 今天忙到剛剛才看到這篇，先說derek大大有點避重就輕的點， 大家都知道LLM就是一個機率模型，更正確來說應該是一個生成式模型，概念就是他從訓 練數據集當中去模仿數據源的分佈。 當然，我相信這絕對是中研院自己finetune的，也不是說只是拿別人模型出口接了openCC
34
[討論] 中研院繁中LLM被爆直接拿對岸的來套!中央研究院詞庫小組（CKIP） 中研院資訊所、語言所於民國75年合作成立 前天釋出可以商用的繁中大型語言模型(LLM) CKIP-Llama-2-7b 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎![[討論] 中研院繁中LLM被爆直接拿對岸的來套!](https://i.imgur.com/phwhfclb.png "[討論] 中研院繁中LLM被爆直接拿對岸的來套!")
14
Re: [閒聊] 文心一言AI繪圖（慎入）文心一言實力不如ChatGPT是理所當然的，微軟投資幾百億美元並且用微軟的雲端訓練整個網 路資料兩年了，到了去年底才終於開花結果 目前這種LLM模型，最重要的就是 資料 算力 和算法，其中基礎的資料是非常重要的，Chat GPT在建立模型的過程跟一般的Ai一樣要機器學習建立模型，而ChatGPT的基礎原理就是由上 一個字生成下一個字，週而復始，其中在訓練的過程還會經過人工挑選優質回答和一些和添![Re: [閒聊] 文心一言AI繪圖（慎入）](https://i.imgur.com/ST90nzyb.jpg "Re: [閒聊] 文心一言AI繪圖（慎入）")
6
[問卦] 用PTT來訓練AI語言模型會怎樣PTT是台灣最大的討論區之一，包含了許多不同主題的討論版，從政治、經濟、科技、娛樂 到生活、旅遊等等，因此PTT的資料可以提供豐富的語言資源，進行大型語言模型的訓練可 能會有以下的影響： 增加模型的多樣性：PTT 的資料來源眾多，而每個版的用語、詞彙、語言風格都不同，因此 使用PTT的資料訓練大型語言模型可以增加模型的多樣性，使其更能夠應對不同領域的自然X
Re: [問卦] 中研院自己做的大型語言模型怎麼了？這語言模型基礎是建構於Llama 2，meta提供的開源模型 另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型， 也是開源且開放商用 技術上也不用解釋太多，反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某 些爭議性回答![Re: [問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/GQlNhZjb.jpg "Re: [問卦] 中研院自己做的大型語言模型怎麼了？")
爆
[爆卦] 【反霸凌、護勞權】大遊行 12/7 勞動部![[爆卦] 【反霸凌、護勞權】大遊行 12/7 勞動部](https://i.imgur.com/hpCBfWab.jpeg "[爆卦] 【反霸凌、護勞權】大遊行 12/7 勞動部")
爆
[爆卦] 台灣8：2擊敗美國![[爆卦] 台灣8：2擊敗美國](https://i.imgur.com/7YcOn1Pb.jpeg "[爆卦] 台灣8：2擊敗美國")
爆
[爆卦] 中華隊棒球睽違21年 再次贏美國隊！爆
[問卦] 4X貓也霸凌別人到自殺為什麼沒事![[問卦] 4X貓也霸凌別人到自殺為什麼沒事](https://i.imgur.com/RSyQjMFb.jpeg "[問卦] 4X貓也霸凌別人到自殺為什麼沒事")
爆
[問卦] 明天贏日本機率多高？![[問卦] 明天贏日本機率多高？](https://i.imgur.com/18v77aXb.png "[問卦] 明天贏日本機率多高？")
爆
[問卦] 雲端發票抽獎就這樣定案了？![[問卦] 雲端發票抽獎就這樣定案了？](https://i.imgur.com/3X37SAzb.jpg "[問卦] 雲端發票抽獎就這樣定案了？")
爆
[問卦] 科技業怎麼都沒傳出霸凌事件?![[問卦] 科技業怎麼都沒傳出霸凌事件?](https://img.youtube.com/vi/E_aMUM_E290/mqdefault.jpg "[問卦] 科技業怎麼都沒傳出霸凌事件?")
92
Re: [新聞] 許銘春切割謝宜容 林淑芬爆![Re: [新聞] 許銘春切割謝宜容 林淑芬爆](https://i.imgur.com/XU8MAGib.jpg "Re: [新聞] 許銘春切割謝宜容 林淑芬爆")
54
Re: [問卦] 禮拜五謝宜容敢出來道歉 我馬上去割![Re: [問卦] 禮拜五謝宜容敢出來道歉 我馬上去割](http://www.havemary.com/upload/pic/2019-08-24-1566591695.jpg "Re: [問卦] 禮拜五謝宜容敢出來道歉 我馬上去割")
55
[爆卦] 台南『波媽』立委疑插足富豪董事長婚姻![[爆卦] 台南『波媽』立委疑插足富豪董事長婚姻](https://i.imgur.com/Etx6vM0b.jpg "[爆卦] 台南『波媽』立委疑插足富豪董事長婚姻")
84
[問卦] 謝宜容 影片哭的很假的八卦？![[問卦] 謝宜容 影片哭的很假的八卦？](https://i.imgur.com/uDXq6xub.jpeg "[問卦] 謝宜容 影片哭的很假的八卦？")
38
[問卦] 棒球贏美國 有生之年能看籃球能贏美國嗎?爆
[問卦] 一提到被媒體霸凌大家第一個想到誰？![[問卦] 一提到被媒體霸凌大家第一個想到誰？](https://img.youtube.com/vi/TCGoSLA-f30/mqdefault.jpg "[問卦] 一提到被媒體霸凌大家第一個想到誰？")
43
[問卦] 七龍珠的佛力沙 為什麼人氣那麼高![[問卦] 七龍珠的佛力沙 為什麼人氣那麼高](https://i.imgur.com/ELbAzA4b.jpeg "[問卦] 七龍珠的佛力沙 為什麼人氣那麼高")
爆
Re: [新聞] 批黃國昌輕放謝宜容!李正皓：勞動部調查![Re: [新聞] 批黃國昌輕放謝宜容!李正皓：勞動部調查](https://i.imgur.com/g4npbEsb.jpeg "Re: [新聞] 批黃國昌輕放謝宜容!李正皓：勞動部調查")
33
Re: [問卦] 光榮戰死曝屍泥濘，會比投降好嗎19
[問卦] 美國何時才會把MLB最強陣容派來打國際賽![[問卦] 美國何時才會把MLB最強陣容派來打國際賽](https://i.imgur.com/11XyWuFb.jpeg "[問卦] 美國何時才會把MLB最強陣容派來打國際賽")
37
[問卦] 台籃打比賽有辦法領先米國爸爸ㄇ32
[問卦] 謝宜容有深刻反省吧 感覺快失禁了![[問卦] 謝宜容有深刻反省吧 感覺快失禁了](https://i.imgur.com/qMNuQBQb.jpeg "[問卦] 謝宜容有深刻反省吧 感覺快失禁了")
39
Re: [問卦] 外省老兵都會煮飯？真的假的31
[爆卦] 台灣得分啦26
[問卦] 敢自盡 卻不敢反抗的心理機制是啥 ??![[問卦] 敢自盡 卻不敢反抗的心理機制是啥 ??](https://i.imgur.com/uqzHT6Pb.jpg "[問卦] 敢自盡 卻不敢反抗的心理機制是啥 ??")
29
[問卦] 被護士搭訕了32
[問卦] 同樣是政府部門 怎麼有的部門爽到爆?30
[問卦] 8:2絕對不可能鍋貼了吧？28
[問卦] 所以謝宜容道歉完就沒事了？![[問卦] 所以謝宜容道歉完就沒事了？](https://i.imgur.com/iGbUejCb.jpg "[問卦] 所以謝宜容道歉完就沒事了？")
27
[問卦] 美國這次輸掉的原因？24
Re: [問卦] 怎麼都沒有公民團體發聲阿？![Re: [問卦] 怎麼都沒有公民團體發聲阿？](https://i.imgur.com/KqG1D3ub.jpg "Re: [問卦] 怎麼都沒有公民團體發聲阿？")
26
[問卦] 女友的包包有計時器？9
[問卦] 贏美國也不能打冠軍賽吧
![[問卦] 同樣是政府部門 怎麼有的部門爽到爆?](https://i.imgur.com/0NjHJ88b.jpeg111.253.231.118 "[問卦] 同樣是政府部門 怎麼有的部門爽到爆?")