Re: [黑特] 誰決定推出的智障機器人?
※ 引述《Alaba (理由伯)》之銘言:
: https://i.imgur.com/o1eKCfW.jpeg
: 後面那些更噁心的我就不貼了
: -----
: Sent from JPTT on my iPhone
這邊說一下目前業界在部署整套LLM服務的工程。
當前架構大抵上是透過Agent來代理LLM services然後會透過RAG(增強式向量資料庫)來檢索DataBase注入到Prompt裡面,剩下會有一些不同的玩法不過大致都差不多。可以看langchain101的這張圖:
https://i.imgur.com/ZkcnrFo.jpeg
這邊LLM就可以分開源以及閉源的,開源LLM目前效果依然沒有閉源的強,不過優勢在於他可以被微調成你自己喜歡的樣子,這一步一般業界會叫對齊,簡單說就是塑造語言模型的個性,這樣開源語言模型如果微調的資料多跟調得好的話就可以讓他在基準上變成效忠黨的機器人(不過還是有機率跳脫)。
閉源的模型就要取決於Google或OpenAI,一般這些跨國巨頭會期望語言模型有更公正跟通用的能力,所以他可能會有高機率拒絕回答存在敏感議題的討論,除非你透過一些方式催眠他(不過開源語言模型一樣有機率可以被人類催眠)。
然後這些系統都搭建好以後其實有很大的Prompt Engineer的工作去調整Prompt然後再大規模的驗證集上看RAG加上Prompt以後的表現,可能會花很多工作在調資料庫或Prompt上,然後循環的A/B Test才能確保部署沒有疑慮。
這次的災難也是長久DPP的通病:好大喜功、喜歡搞裙帶關係、不尊重專業、容不下異音、小孩開大車。(雖然KMT也差不多,半斤八兩)
最後我只希望這個不是納稅錢國庫通黨庫弄出來的東西啦!
--
※ PTT 留言評論
52
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。34
[討論] 中研院繁中LLM被爆直接拿對岸的來套!中央研究院詞庫小組(CKIP) 中研院資訊所、語言所於民國75年合作成立 前天釋出可以商用的繁中大型語言模型(LLM) CKIP-Llama-2-7b 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎17
[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT,但 是硬體需求大大降低,是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法,LLaMA 13B的模型性能比GPT-3模型要好,可以作到基本對答。 一些LLaMA可以達成的任務X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。9
[情報] NVIDIA Chat With RTX什麼是 Chat With RTX? Chat With RTX 是一款展示應用程式,可讓您客製GPT 大語言模型 (LLM)並連接到您自己 的內容(包含文件、筆記、影片或其他數據)。 利用檢索增強生成技術 (RAG), TensorRT-LLM 和 RTX 加速,您可以查詢自訂聊天機器人以快速獲得上下文相關的答案。5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?5
Re: [新聞] Google與Hugging Face合作宣布推動開放結果Google竟然釋出了開源大模型Gemma,超出預期! Google 2 款新開源模型「Gemma」來了!直接挑戰 Meta Llama 2 7B 2024/02/22 Sisley 聊天機器人 、 生成式 AI 、 摘要 、 輕量級語言模型 、 負責 任生成式 AI5
Re: [心得] WWDC24節錄-系統級個人助理面世自己回自己的文,給想進入AI生活的人一點知識科普,順便闢謠一下網路上漫天飛的錯誤 資訊。 === 個人裝置跑『大模型、小模型』,大小如何定義? 以下節錄台大洪教授的臉書文字內容:3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事X
Re: [心得] WWDC24節錄-系統級個人助理面世: : Q:阿婆完全照搬OpenAI的GPT模型嗎? : A:沒有,這次提供的是本地自家模型以串接的方式連動GPT模型,也提供用戶關閉此功 能 : 的選項
爆
[討論] 女生為何反對代理孕母居多?92
[討論] 潛艇20億果然守下來了~~95
[討論] 台中全聯倉庫大火?81
[討論] 吳怡萱業績最差只拿6000 轉被告合理嗎78
[黑特] gogobar果然不是台灣人吧68
[討論] 網路上對綠營仇恨這麼深的原因是什麼?73
[討論] 51萱是要拉大家一起死嗎25
[討論] 黃國昌:請民進黨不要混淆試聽34
Re: [討論] 黃國昌:請民進黨不要混淆試聽32
[討論] 學姐下屆還會上嗎31
[討論] 國昌老師為什麼不救救帶貨四傻?27
[黑特] 阿公阿嬤這張圖看了令人鼻酸98
[討論] PTT站方真的應該警惕了23
[討論] 立法院外目測300人27
[討論] 黃國昌最後會變甚麼顏色27
[黑特] 神奇ID請進X
[黑特] 6000隻→453隻,根本是辱台!18
[黑特] 台中為什不辦詐騙節?36
[討論] 北檢今再提訊柯文哲17
[討論] 明天盧媽滿意度會到幾%會衝到130%嗎?48
[討論] 柯粉:都火災了還在無腦扯政治,沒人性16
[黑特] 黃國昌真的是最噁心的咖14
[討論]剛剛朋友說 台中大火,消防隊員的裝備簡陋15
Re: [討論] 白癡國民黨的政策操作 提高到30-33%門檻就好啊7
Re: [討論] PTT站方真的應該警惕了15
[討論] 國昌到底為啥急著讓民眾黨滅團47
[討論] 八卦版到底代表誰的民意? 人都叫不出來27
[討論] 民眾黨六都支持度剩不到10%9
[討論] 綠粉是怎麼看昨天那個假摔小丑33
Re: [新聞] 吳怡萱秀轉帳紀錄喊冤 只拿木可6千塊宣