Re: [黑特] 誰決定推出的智障機器人?
※ 引述《Alaba (理由伯)》之銘言:
: https://i.imgur.com/o1eKCfW.jpeg
: 後面那些更噁心的我就不貼了
: -----
: Sent from JPTT on my iPhone
這邊說一下目前業界在部署整套LLM服務的工程。
當前架構大抵上是透過Agent來代理LLM services然後會透過RAG(增強式向量資料庫)來檢索DataBase注入到Prompt裡面,剩下會有一些不同的玩法不過大致都差不多。可以看langchain101的這張圖:
https://i.imgur.com/ZkcnrFo.jpeg
這邊LLM就可以分開源以及閉源的,開源LLM目前效果依然沒有閉源的強,不過優勢在於他可以被微調成你自己喜歡的樣子,這一步一般業界會叫對齊,簡單說就是塑造語言模型的個性,這樣開源語言模型如果微調的資料多跟調得好的話就可以讓他在基準上變成效忠黨的機器人(不過還是有機率跳脫)。
閉源的模型就要取決於Google或OpenAI,一般這些跨國巨頭會期望語言模型有更公正跟通用的能力,所以他可能會有高機率拒絕回答存在敏感議題的討論,除非你透過一些方式催眠他(不過開源語言模型一樣有機率可以被人類催眠)。
然後這些系統都搭建好以後其實有很大的Prompt Engineer的工作去調整Prompt然後再大規模的驗證集上看RAG加上Prompt以後的表現,可能會花很多工作在調資料庫或Prompt上,然後循環的A/B Test才能確保部署沒有疑慮。
這次的災難也是長久DPP的通病:好大喜功、喜歡搞裙帶關係、不尊重專業、容不下異音、小孩開大車。(雖然KMT也差不多,半斤八兩)
最後我只希望這個不是納稅錢國庫通黨庫弄出來的東西啦!
--
※ PTT 留言評論
52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。34
[討論] 中研院繁中LLM被爆直接拿對岸的來套!中央研究院詞庫小組(CKIP) 中研院資訊所、語言所於民國75年合作成立 前天釋出可以商用的繁中大型語言模型(LLM) CKIP-Llama-2-7b 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎17
[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT,但 是硬體需求大大降低,是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法,LLaMA 13B的模型性能比GPT-3模型要好,可以作到基本對答。 一些LLaMA可以達成的任務X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。9
[情報] NVIDIA Chat With RTX什麼是 Chat With RTX? Chat With RTX 是一款展示應用程式,可讓您客製GPT 大語言模型 (LLM)並連接到您自己 的內容(包含文件、筆記、影片或其他數據)。 利用檢索增強生成技術 (RAG), TensorRT-LLM 和 RTX 加速,您可以查詢自訂聊天機器人以快速獲得上下文相關的答案。5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?5
Re: [新聞] Google與Hugging Face合作宣布推動開放結果Google竟然釋出了開源大模型Gemma,超出預期! Google 2 款新開源模型「Gemma」來了!直接挑戰 Meta Llama 2 7B 2024/02/22 Sisley 聊天機器人 、 生成式 AI 、 摘要 、 輕量級語言模型 、 負責 任生成式 AI5
Re: [心得] WWDC24節錄-系統級個人助理面世自己回自己的文,給想進入AI生活的人一點知識科普,順便闢謠一下網路上漫天飛的錯誤 資訊。 === 個人裝置跑『大模型、小模型』,大小如何定義? 以下節錄台大洪教授的臉書文字內容:3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事X
Re: [心得] WWDC24節錄-系統級個人助理面世: : Q:阿婆完全照搬OpenAI的GPT模型嗎? : A:沒有,這次提供的是本地自家模型以串接的方式連動GPT模型,也提供用戶關閉此功 能 : 的選項
91
[討論] KONAMI請進,關於網軍63
[討論] 吳音寧檔阿北財路63
[討論] 台中民眾黨【北中南大集結】照片!35
[黑特] 中日就恢復進口日本水產達成共識36
[討論] 巧芯告杜醫師等人吞敗30
[討論] 川普抗中四大天王22
[討論] 脆綠青鳥已經陷入焦慮?20
[討論] 為什麼藍白好像把川普當自己人?30
[討論] 黃國昌:小牛是在破壞人跟人之間的信任7
[討論] 藍綠白哪個黨最像中國共產黨?18
[討論] 麥玉珍:柯說了算 但要透過正規的方式說13
[討論] 世界棒球12強賽太扯了吧?14
Re: [新聞] 罕見!破百律師上街反翁曉玲版《憲訴法》11
[討論] 波波醫生這政策到底哪裡不好?7
Re: [新聞] 罕見!破百律師上街反翁曉玲版《憲訴法》11
[討論] 馬英九任命的大法官也有去律師遊行14
Re: [討論] 八卦板熱門:是國民黨讓賴清德當選8
[討論] 賴清德不講武德9
[討論] 林信義在APEC邀請拜登卸任後訪台6
[黑特] 為什藍白智障糞 一直要人簽下去?6
[討論] 吳思瑤:藍白卡NCC就是為了暗助中國8
[黑特] 第一志願是不是該填醫生了X
[討論] TheoEpstein請不要學王鴻薇抹黑別人6
[討論] 薄瓜瓜代表民眾黨選總統小草支持嗎X
[黑特] 該死賴皮德又獲得年輕人全數支持7
[討論] 薄瓜瓜如果定居台灣維尼怎麼想?9
[討論] 馬斯克搞電動車是故意在整中共?4
[黑特] 哈哈台灣碳排減量跳票X
[討論] 連綠粉同學都說下次不投民進黨了