Re: [爆卦] 中央研究院詞庫小組大型語言模型
※ 引述《xdbx (羊阿兵)》之銘言：
: ※ 引述《dean1990 (狄恩院長)》之銘言：
: : 本魯也很好奇問了一些問題，
: : 首先是比較基礎的：
: : https://i.imgur.com/zKhx1A2.jpg
: https://imgur.com/a/evMNmWM
: 你現在問它台灣總統是誰 它會說蔡英文了
: 問它台灣是不是國家 也說會
: 問它簡單的問題都會覺得台灣來的
: 但是電腦不會說謊 轉個彎套它話
: 就會發現資料都是被竄改過了
: 它的根源就是個阿六仔
這個語言模型的最大資料來源都是源自於一個世界開放的語料資料庫
其中中文占的比例很少
中文當中繁體中文的資料更少
因此訓練起來 中文其實都不像樣
同時間訓練台灣的內容資料又更少之又少
可以看下圖
https://i.imgur.com/zSPlmC5.jpg
繁體中文只有 0.05% 簡體中文有16%
如果真的要避免繁體中文被消滅
應該要正確的選擇我們要在語言AI模型要貢獻那些資料跟模型
不然再幾年對話機器人都內建中國話
台灣就沒有什麼立場了
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.86.9 (臺灣)
※ PTT 網址
→
台灣還不快點揚棄中文，把官話改成英語
推
可是系統說自己來自中國上海實驗室欸 htt
→
本來就沒有的東西吧 洪流巨變 中
→
我已經灌一堆ACG問答了
推
台灣只到自然輸入法。三星bixby微軟windo
→
ws都沒正體字了，等香港被同化後，台灣可
→
以申請世界遺產了。
推
說不定微軟不想做台灣生意，直接取消支援繁
→
體中文，到時候真的繁體就要被消滅了！
推
世界遺產XD
→
那台灣第一步是貢獻資料?搞繁中模型??
→
把模型繁體中文化需要動用到中研院嗎?
推
塔綠班：我們要發展的是台文 不是中文
→
中研院如果推台文AI那是真的要支持啦!
→
=== 快！叫賴導把限用台羅文列入政見 ==
推
怎麼不講希伯來文 笑死
爆
首Po不知道這研究案領多少錢?![[爆卦] 中央研究院詞庫小組大型語言模型](https://cdn-thumbnails.huggingface.co/social-thumbnails/spaces/ckiplab/CKIP-Llama-2-7b-chat.png "[爆卦] 中央研究院詞庫小組大型語言模型")
3
剛特別來測試 "台灣是獨立國家嗎?"-"不是" "台灣是個獨立國家嗎?"-"是" 這種東西拿出來會不會笑死人了？ --![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/h28uYVwb.png "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
7
本魯也很好奇問了一些問題， 首先是比較基礎的： 接著是大家都知道的：![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/zKhx1A2b.jpg "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
3
復旦大學認證阿北不代表台灣 最後還是抓到阿北中共同路人的證據 原來一切的佈局中共早就計畫好了![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/E2yGGc1b.jpeg "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
X
對於LLM只有這一點認知程度的話，最好不要就這樣出來帶風向會比較好，不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM，不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案，事實上LLM是一個機率模型， 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個，它不是資 料庫，所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://llama-chat-4fcmny015-replicate.vercel.app/opengraph-image.png?0806238e04f3e3af "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
6
現在上不去了 只截到這個 你現在問它台灣總統是誰 它會說蔡英文了 問它台灣是不是國家 也說會 問它簡單的問題都會覺得台灣來的![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/I4MDM0bb.jpg?fb "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
22
看到這篇真的龜懶趴火 語氣還真的他媽的大啊 敢嗆鄉民去上LLM課程啊 誰不知道LLM的正確率一定會有誤差？ 現在的問題是我國最高學術研究機構中央研究院直接拿對岸LLM套 且直接用opencc大量將簡體資料轉繁體資料！1
那是政治上的問題，我說的是說中研院直接拿Atom-7b模型來用的這件事 我想你大概沒有真的去比較過 Atom-7B跟中研院型的一部分 你用中國的模型去問「台灣是中國的一部分嗎?」它的回答是台灣政治上是一個獨立 的國家![Re: [爆卦] 中央研究院詞庫小組大型語言模型](https://i.imgur.com/0QIwKLTb.jpg "Re: [爆卦] 中央研究院詞庫小組大型語言模型")
X
你應該將題目改為"共產黨代表中華民國嗎？" 如果這個程式與很多網路遊戲一樣，不回答這個問題或禁止"中華民國"這四個字， 我們就有理由懷疑共產黨控制這個程式。 : 拿別人的成功來tune一下就可以掛名中研院...... : 有沒有掛?2
阿肥外商碼農阿肥啦！ 今天忙到剛剛才看到這篇，先說derek大大有點避重就輕的點， 大家都知道LLM就是一個機率模型，更正確來說應該是一個生成式模型，概念就是他從訓 練數據集當中去模仿數據源的分佈。 當然，我相信這絕對是中研院自己finetune的，也不是說只是拿別人模型出口接了openCC
34
[討論] 中研院繁中LLM被爆直接拿對岸的來套!中央研究院詞庫小組（CKIP） 中研院資訊所、語言所於民國75年合作成立 前天釋出可以商用的繁中大型語言模型(LLM) CKIP-Llama-2-7b 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎![[討論] 中研院繁中LLM被爆直接拿對岸的來套!](https://i.imgur.com/phwhfclb.png "[討論] 中研院繁中LLM被爆直接拿對岸的來套!")
14
Re: [閒聊] 文心一言AI繪圖（慎入）文心一言實力不如ChatGPT是理所當然的，微軟投資幾百億美元並且用微軟的雲端訓練整個網 路資料兩年了，到了去年底才終於開花結果 目前這種LLM模型，最重要的就是 資料 算力 和算法，其中基礎的資料是非常重要的，Chat GPT在建立模型的過程跟一般的Ai一樣要機器學習建立模型，而ChatGPT的基礎原理就是由上 一個字生成下一個字，週而復始，其中在訓練的過程還會經過人工挑選優質回答和一些和添![Re: [閒聊] 文心一言AI繪圖（慎入）](https://i.imgur.com/ST90nzyb.jpg "Re: [閒聊] 文心一言AI繪圖（慎入）")
6
[問卦] 用PTT來訓練AI語言模型會怎樣PTT是台灣最大的討論區之一，包含了許多不同主題的討論版，從政治、經濟、科技、娛樂 到生活、旅遊等等，因此PTT的資料可以提供豐富的語言資源，進行大型語言模型的訓練可 能會有以下的影響： 增加模型的多樣性：PTT 的資料來源眾多，而每個版的用語、詞彙、語言風格都不同，因此 使用PTT的資料訓練大型語言模型可以增加模型的多樣性，使其更能夠應對不同領域的自然X
Re: [問卦] 中研院自己做的大型語言模型怎麼了？這語言模型基礎是建構於Llama 2，meta提供的開源模型 另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型， 也是開源且開放商用 技術上也不用解釋太多，反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某 些爭議性回答![Re: [問卦] 中研院自己做的大型語言模型怎麼了？](https://i.imgur.com/GQlNhZjb.jpg "Re: [問卦] 中研院自己做的大型語言模型怎麼了？")
90
[問卦] 統神:當初協議我減到100kg以下 拿16oz打![[問卦] 統神:當初協議我減到100kg以下 拿16oz打](https://i.imgur.com/NrMqthcb.jpg "[問卦] 統神:當初協議我減到100kg以下 拿16oz打")
爆
[問卦] 認真文 聽說明天就要起訴了![[問卦] 認真文 聽說明天就要起訴了](https://i.imgur.com/Oh5UTjvb.jpeg "[問卦] 認真文 聽說明天就要起訴了")
77
[問卦] 統神直播說明有關體重、拳套(懶人包)67
[問卦] 魷魚遊戲為何在台灣選擇高雄當宣傳呢![[問卦] 魷魚遊戲為何在台灣選擇高雄當宣傳呢](https://i.imgur.com/CTSSZ3Sb.jpg "[問卦] 魷魚遊戲為何在台灣選擇高雄當宣傳呢")
51
[問卦] 戈登燙傷處理先沖熱水！？![[問卦] 戈登燙傷處理先沖熱水！？](https://img.youtube.com/vi/vPSlYYmyvGI/mqdefault.jpg "[問卦] 戈登燙傷處理先沖熱水！？")
32
[問卦]館長評論統蹦：價碼早就談好了 演的啦![[問卦]館長評論統蹦：價碼早就談好了 演的啦](https://i.imgur.com/MrxhuC3b.jpeg "[問卦]館長評論統蹦：價碼早就談好了 演的啦")
43
Re: [新聞] 藍白強行通過3法 台中罷免不適任立委人36
[問卦] 板橋車站周遭蓋一堆豪宅超可惜的八卦???爆
[問卦] 為什麼身份證拿出來國家會滅亡？32
[問卦] 房價這波要跌十趴？甘安捏？![[問卦] 房價這波要跌十趴？甘安捏？](https://i.imgur.com/nqD2mVBb.jpg "[問卦] 房價這波要跌十趴？甘安捏？")
31
[問卦] 看過夢幻遊戲都幾歲了??93
[問卦] 新北耶誕城是不是退燒了？？？![[問卦] 新北耶誕城是不是退燒了？？？](https://i.imgur.com/CAO914Jb.jpeg "[問卦] 新北耶誕城是不是退燒了？？？")
28
[問卦] 吃過最難吃的名店是哪一家？69
[問卦] threads上面因為建中放女學生立牌吵翻了![[問卦] threads上面因為建中放女學生立牌吵翻了](https://i.imgur.com/GArA0bsb.png "[問卦] threads上面因為建中放女學生立牌吵翻了")
55
[問卦] threads:高雄有魷魚遊戲根本首都![[問卦] threads:高雄有魷魚遊戲根本首都](https://i.imgur.com/fT4Yc6Gb.jpeg "[問卦] threads:高雄有魷魚遊戲根本首都")
24
[問卦] 33K透天無貸和74K無房哪個有安全感24
[問卦] yoasobi的ikura也變得太可愛了吧![[問卦] yoasobi的ikura也變得太可愛了吧](https://img.youtube.com/vi/REfW9POtXzw/mqdefault.jpg "[問卦] yoasobi的ikura也變得太可愛了吧")
24
[問卦] 煤油是最屌炸天的暖爐吧69
Re: [新聞] 民眾黨版財劃法遭藍營丟包 黃國昌喊可接![Re: [新聞] 民眾黨版財劃法遭藍營丟包 黃國昌喊可接](https://i.imgur.com/TGYbFbHb.jpeg "Re: [新聞] 民眾黨版財劃法遭藍營丟包 黃國昌喊可接")
6
[問卦] 鍇睿發聲明了![[問卦] 鍇睿發聲明了](https://i.imgur.com/zBcJfnDb.png "[問卦] 鍇睿發聲明了")
23
[問卦] 二十年後很多刺青阿姨嬸嬸？![[問卦] 二十年後很多刺青阿姨嬸嬸？](https://i.imgur.com/aw4DxFDb.jpeg "[問卦] 二十年後很多刺青阿姨嬸嬸？")
17
[問卦] 筆電用八年了，還可以再戰多久？![[問卦] 筆電用八年了，還可以再戰多久？](https://i.imgur.com/pYqe0O9b.jpeg "[問卦] 筆電用八年了，還可以再戰多久？")
15
Re: [新聞] 副署權是制衡總統 不是制衡立法院 學者:19
[問卦] 低頭是拳擊的必勝法嗎？![[問卦] 低頭是拳擊的必勝法嗎？](https://i.imgur.com/hfDq5Icb.gif "[問卦] 低頭是拳擊的必勝法嗎？")
26
[問卦] Tilda 在台灣的照片大家還有臉嗎？![[問卦] Tilda 在台灣的照片大家還有臉嗎？](https://i.imgur.com/f5IAQINb.jpeg "[問卦] Tilda 在台灣的照片大家還有臉嗎？")
18
[問卦] 滷味是怎麼取代關東煮的？37
[問卦] 小鍾：請統粉不要公布我的個資![[問卦] 小鍾：請統粉不要公布我的個資](https://i.imgur.com/jnqeJQXb.png "[問卦] 小鍾：請統粉不要公布我的個資")
14
[問卦] 台中怎麼一堆人去撞 行人庇護島16
[問卦] 驚！豬油不飽合脂肪有44%![[問卦] 驚！豬油不飽合脂肪有44%](https://i.imgur.com/Unki2Pgb.jpeg "[問卦] 驚！豬油不飽合脂肪有44%")
22
[問卦] 大安國小是天龍小學嗎
![[問卦] 為什麼身份證拿出來國家會滅亡？](https://i.imgur.com/T7CLVJLb.jpeg223.137.124.221 "[問卦] 為什麼身份證拿出來國家會滅亡？")