[問卦] 訓練阿美語的大型語言模型當碩論可行嗎
以下是chatGPT的生成內容
-----
訓練一個專注於特定語言,如阿美語的大型語言模型,是一項複雜且耗時的工程,但可以透過以下步驟逐漸達成:
1. **數據收集**:阿美語作為一種少數民族語言,其可用於訓練的數據可能相對有限。首先需要收集大量的阿美語文本數據。這包括書籍、文章、新聞、網站內容等。如果可能,也應該收集語音數據。
2. **數據處理**:收集到的數據需要被清理和格式化,以便於機器學習模型的訓練。這可能包括去除重複數據、錯誤更正、標注等工作。
3. **選擇模型架構**:選擇合適的模型架構對於訓練成功至關重要。可以考慮使用類似於OpenAI GPT或BERT的轉換器(Transformer)架構。
4. **訓練模型**:使用適當的硬件資源(如GPU或TPU)來訓練模型。這一步驟可能需要大量的計算資源和時間。
5. **模型評估與調整**:在訓練過程中和訓練完成後,評估模型的性能並進行必要的調整。這可能包括更改模型的參數、再次訓練模型或使用更多數據進行微調。
6. **社群合作與倫理考量**:考慮與阿美族社群合作,了解他們對於語言模型的需求和期望。同時,也要考慮到語言模型在文化保存和倫理方面的影響。
7. **持續學習與更新**:語言是不斷發展的,因此定期更新模型以反映語言的最新使用情況是必要的。
由於這是一個相當大的項目,考慮尋求與學術機構、政府機構或專業機構的合作可能是一個好主意。這樣可以獲得更多的資源和專業知識來支持你的計劃。
-------
訓練阿美語的大型語言模型當碩論可行嗎?
有無八卦
--
作業自己寫好嗎
火星文還比較可行
哪來的資料庫
碩論題目要跟指導教授討論
隨便 反正碩論99.99%都是__
很可以吧!!阿美還比較多,相對於凱達
格蘭族
方向錯了吧?現有阿美語哪來的「大型語言
模型」資源可言?該走的是「資源匱乏(
low-resource)」情況下的語言模型訓練。
https://imgur.com/Ivb1mNS
感謝指引,我要去查一下。
※ 編輯: ck960785 (103.216.196.9 香港), 01/04/2024 10:18:1755
Re: [問卦] 中研院自己做的大型語言模型怎麼了?阿肥外商碼農阿肥啦! 昨天晚上都在跟獵人直播來不及趕上大型翻車現場,這邊中午看hugging face hub還 可以進去,但現在已經進不去了。 這邊阿肥就直接說,基本上現在所有中文開源語言模型除了少數像chatGLM這種中國比較 早期做的自己完全從零訓練的語言模型外,大家都是從meta 的llama魔改的,差別在於預X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。6
[問卦] 用PTT來訓練AI語言模型會怎樣PTT是台灣最大的討論區之一,包含了許多不同主題的討論版,從政治、經濟、科技、娛樂 到生活、旅遊等等,因此PTT的資料可以提供豐富的語言資源,進行大型語言模型的訓練可 能會有以下的影響: 增加模型的多樣性:PTT 的資料來源眾多,而每個版的用語、詞彙、語言風格都不同,因此 使用PTT的資料訓練大型語言模型可以增加模型的多樣性,使其更能夠應對不同領域的自然5
Re: [新聞] 中研院 AI 大翻車!繁中大型語言模型 CKI那個 我記得以前的新聞是這樣講的 防止簡體版AI偏見,產官學聯手開發繁體版AI語音模型 聯發創新基地負責人許大山博士表示: 「大型語言模型是近年來人工智慧技術進步的亮點 ,更是未來進步不可或缺的基石。聯發科技向來重視創新及科技發展,此次結合中研院及 國教院,成為台灣極少數能訓練大型語言模型的團隊,既發展自主訓練大型人工智慧模型6
Re: [爆卦] 中央研究院詞庫小組大型語言模型這個語言模型的最大資料來源都是源自於一個世界開放的語料資料庫 其中中文占的比例很少 中文當中繁體中文的資料更少 因此訓練起來 中文其實都不像樣 同時間訓練台灣的內容資料又更少之又少X
Re: [問卦] 中研院自己做的大型語言模型怎麼了?這語言模型基礎是建構於Llama 2,meta提供的開源模型 另外Atom 7b則是中文社群跟一間中國公司在Llama 2之上訓練成中文使用者適合的模型, 也是開源且開放商用 技術上也不用解釋太多,反正開源模型他本來就不會像GPT或百度的文心一言那樣限制某 些爭議性回答X
Re: [新聞] 國慶日變10/1!中研院認了「AI語言模型」不知道這個話題有什麼好延燒的,一個數據庫而已。 在中文環境,台灣本就貢獻有限,要研究,就必不可少用到對岸資料,重要的是語言模型的 表現怎麼樣。 至少從實際來看,回答邏輯通順,條例分明,也能準確理解提問的意涵並給出準確的答案, 這不就夠了嗎?2
Re: [問卦] AI產出的產品之間有關聯性嗎?: 阿肥碼農阿肥啦!有興趣可以看我在科技版的文章,看一下chatGPT的思維模式綜述。 #1Zxi_nPB (Tech_Job) 基本上,現在的深度學習突破的領域在學術界已經是一兩年前的舊聞了,現在所有的語言 視覺模型最好的成果都是基於Transformers(變形金剛)這個家族爆發性成長的結果。X
[閒聊]ChatGPT:區塊鏈與語言模型:數位革新的合力前幾天看到文章説 已經有人利用FB洩漏的資訊在筆電上實現類似ChatGPT的技術 所以我試著問GPT一些問題 獲得一些心得 分享給大家 所以以下的文章是ChatGPT寫的,包含標題XDD 有興趣請往下慢慢看~ (至於FB洩漏什麼 請自行搜尋 我網址沒存XD)- 請容我搬運一篇對岸知乎的文章, 這是一篇非常長的文章,其中大部分片段與本文無直接關聯,而且是2023/02寫的. 我只搬運本串相關的記憶體的部分,還有尾部的結論.且未修飾原文用字 詳細的有興趣請直接去原網址看吧. ChatGPT背後的經濟賬
爆
[爆卦] 中國無錫學校發生無差別殺人至少7死21傷爆
[爆卦] 刺青8+9木柵動物園突破柵欄闖進鬣狗區爆
[問卦] 以前沒有智慧型手機大學生都在幹嘛??爆
[問卦] (祭品)中華對日本逆轉勝爆
[問卦] 中華隊今天會掛蛋嗎?87
[問卦] 大家給今天中華台北隊打幾分?50
[問卦] 日本轉播一直講Chinese Taipei = =70
[問卦] 帶狀皰疹一直廣告是有病啊?68
[問卦] 都是亞洲黃猴,為什麼日本就是比較強?65
[問卦] 3:0中華隊還能贏日本嗎?60
[爆卦]台灣隊全壘打!!!65
[問卦] 各位國小下課10分鐘最常玩遊戲?67
[問卦] 台灣為什麼要保育綠鬣蜥?61
[問卦] 2000-2010期間大學生樂趣是?51
[問卦] 台灣籃球要怎麼達到棒球的關注度?93
[問卦] 無蝦米和倉頡是怎麼沒落的49
[爆卦] 日本隊贏了50
[問卦] 中職到底幾A啊46
[問卦] 以前國小電腦課在幹嘛?46
[問卦] 日本有那麼難贏?43
[問卦] 高鐵台北站爆了?83
[問卦] 大巨蛋當初是誰在黑?33
[問卦] 中華隊逆轉日本會怎樣?57
[問卦] 花3千多進場看中日戰的人 現在想什麼?27
[問卦] 場上越來越安靜52
[問卦] 所以王建民巔峰有多強?27
[問卦] 為什麼要嚴禁公務人員兼職?30
Re: [新聞] 俄烏續交戰 澤倫斯基:盡力用外交手段23
[問卦] 妹妹的裸足能幹嘛〓〓?23
[問卦] 5ch有人炸鍋了