[討論] 讀完現今LLM的運作邏輯後...
我發現我們距離真正產出一個「人」還是差得太遠了
光是目前LLM的算法就已經預示了要讓機器產生出價值觀基本上非常難
用機率分布跟加權的方式來決定下一個文字是什麼的這種方式
就代表LLM絕對會一直傾向產出最合乎邏輯且合乎她所學習的文本的回答
然而一個人的價值觀所帶來的獨特性 甚至是「我和別人相信的不一樣」的這種特性
就讓LLM完全沒辦法了 因為一個人的價值觀並不總是合乎邏輯的
更不用說如果我們想做出一個跟人相似的 可以行走 聊天 泡咖啡機器人
中間涉及到的問題也很多
道德 材料學 生物力學 甚至是最基礎的散熱都是大問題
只能說我們距離家家戶戶有一個會哄人睡覺的女僕機器人的時代還太遠了
--
去汪梯徵人哄睡還比較快
可以用prompt engineering對LLM做一些暗示,讓它看起
來有自己的人格
一直都是這樣 從30年前的機器學習到10年前的深度學
習 本質上都沒有完全擺脫 回歸 機率 的特性
可以調 topk topp temperature 阿 但也不代表什麼你
所謂的價值觀
我當然知道可以調這些 但是這些只是調整最終文字的取用結果 不代表真的可以創建人格
※ 編輯: Rosor (114.25.4.94 臺灣), 08/30/2024 00:19:45我覺得其實人也一樣是被環境(文本)塑造人格的,差別大
概是人類的文本大部分來自生活經驗吧,如果能搞出一個模
擬人類社會互動的情境把ai丟進去,他們搞不好也能發展出
價值觀之類的
喔可能還要幫他們賦予一些慾望、目標之類像人性的東西
現在的語言模型跟專門用來角色扮演的LLM已經就在做這個了 只是這跟有真正的價值觀還差遠了 舉個例子:我在聊天機器人的人格中描述她是一個不離不棄鐵桿喵迷 如果我在與她的對話中說喵喵很爛 正常人類一定會否定吧:你怎麼這樣說我喵 之類的 但是LLM的問題就是在於你多刷個幾次 她就可能會回答:喔對阿對阿喵喵很爛 因為她的底層邏輯就是文字的合理與流暢性 而不是她的性格 在人格描述中寫的只是參考
※ 編輯: Rosor (114.25.4.94 臺灣), 08/30/2024 00:57:44另外謝謝大家願意點進來推文 沒想到能在這邊問這種問題還得到不少回覆
※ 編輯: Rosor (114.25.4.94 臺灣), 08/30/2024 00:59:54你怎麼會覺得人在地球幾百萬年的演化 只要短短一兩百
年的科技發展就能追趕得上
73
Re: [請益] NVDA跟AMD怎麼突然崩了週末有點時間 之前寫的老黃故事 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力 簡言之 2018以前 AI模型 都是透過數據 去學習資料上的標註資料 來做人類事先規範好的目的 而機器透過這些標注數據 去達到人類要求的事情 當模型遇到一個沒看過的數據 或者場景變得不同 模型就會失效 甚至無法處理35
Re: [請益] AI到底是遇到什麼問題?技術跟應用場景的問題我不談,之前的人已經談過了,大致上沒有問題。 不同領域的人可能體驗不太一樣,但LLM普及的程度並沒有這麼低,具體而言,主要是 ChatGPT ,在部分領域已經是不可或缺的必要工具,到了掛掉會影響到正常工作或不能工作的程度。 首先是 coding,就我而言,至少有50%的程式碼已經是由 ChatGPT 完成的,遇到 bug 我幾乎沒有再用 Google 或是 stackoverflow ,log 直接丟進 ChatGPT , 大部分情況下它都能大幅減少我的工作時間。 除了遇到有關於 pydantic 的問題,因為這個 module 最近出了V2,模型的回答經常會混合V1的答案,而且傻傻分不清楚,在之前舊的沒有納入 pydantic 的版本時,這問題更為嚴重,必須要自己先提供文件用RAG 讓它知道。 但是就我實際的觀察周邊的人,發現LLM 對於低階的工程師,高階的工程師的幫助個別顯著,但是對於中階工程師而且有使用上的困難。X
Re: [爆卦] 中央研究院詞庫小組大型語言模型對於LLM只有這一點認知程度的話,最好不要就這樣出來帶風向會比較好,不然先去 跟陽明交大校長先去旁邊先學習一下什麼叫做LLM,不同LLM之間又有什麼差異。 第一個錯誤的認知是認為LLM就應該要提供正確的答案,事實上LLM是一個機率模型, 它所做的事情是基於模型的權重預測下一個token(詞塊)最高的機率是那個,它不是資 料庫,所以你不能因為它答的一個答案不是你所想的就是說這個模型如何如何。9
[討論] 戰國策的AI怎麼這麼強?看大家轟轟烈烈的討論某政黨推出聊天機器人 老實說訓練機器人真的很難 llm的缺陷就在那邊沒辦法,情有可原啦 也是樂見更多人投入這塊就是了 但突然想到7
Re: [討論]有可能不學coding就可以取得前後端工作?先不用談那些面試會遇到的問題,因為基本上目前的LLM能夠作到的能力是boosting 跟teaching而boosting的基礎使用者要會寫code,而teaching的的結果是使用者會 寫code 不可能無中生有,因為這違反了目前LLM的基本邏輯:文字接龍。所謂的文字接龍 ,前半段提示詞的好壞,決定後半段生成內容的品質,當用戶連怎麼正確描述自己5
Re: [新聞]剖析中研院大型語言模型事件的衝擊先說結論: 發展本土化,繁體中文LLM模型,然後期待這個模型能讓大家使用,根本是錯誤方向。不知道這些專家學者,是在騙經費,還是還沒想清楚產業到底缺什麼。 --- 如果今天你使用Google搜尋,搜到"台灣是中國的",或任何有政治偏見的相關文章。 你會不會覺得Google很爛?3
Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套身為LLM猴子,大多同意DrTech的看法,只是台智雲這塊有點不一樣。 其實台智雲有幾乎一半台灣杉2號的機器可以用, 也克服很多開源軟體無法解決的問題;例如硬體是V100不是A100, 又要能夠做3D model parallelism,又要同時能跑LoRA,RLHF, 在100Gbps網路中維持GPU使用率滿載等等。在meta llama出來之前,1
Re: [黑特] 誰決定推出的智障機器人?藍 : 後面那些更噁心的我就不貼了 : ----- : Sent from JPTT on my iPhone 這邊說一下目前業界在部署整套LLM服務的工程。- 講一些自身經驗好了 自從AI領域在生成式題材大火後 全世界就進入到AI軍備競賽 所有的AI基礎研究都是以週甚至日為單位在迭代 舉個例子 當年Robert G. Gallager 在1960提出類神經網路的LDPC code到2004年才大放異彩 無限接近shannon bound 光這個演進就花了40年 對照這幾年的AI科技樹發展 根本就是指數在成長
- 完整的LLM訓練成本極高 可能一次就要兩百萬美金 如果本土化LLM因預算限制只進行fine tune調整 因為pre trained內容以英文為主 處理中文效率差很多
32
[閒聊] 奶哥:俊麟,還好你沒跟著回來12
[開戰] 哪間工作人員一直在那裡亂14
[討論] 傑憲13
[分享] 柏清又扛了...23
[開戰] 八O板:台灣記者都一樣啦9
[分享] 日媒在決賽開打前介紹中華隊影片9
[閒聊] 免稅店那些大媽 就算肉搜公審也不怕吧31
[閒聊] 辰己國豪互相follow了9
[討論] 明天可不可以有人去電一下接機的事啊8
[閒聊] 總統幕僚如果反應夠快 明天道歉一下吧8
[閒聊] 瑞德8
[討論] 龍貓續帶WBC資格賽8
[閒聊] 夠了吧台灣媒體4
[開戰] 為什麼當初公投不投台灣5
[閒聊] 神奈川の牧5
[閒聊] 錢公39
[閒聊] Soto5
[閒聊] 帥哥陣容 by WeAre5
[分享] 我媽也要變成獅迷了4
[討論] 接機看哪台?22
[討論] 陳傑憲在台灣應該比鋒哥還紅了3
[閒聊] 願意花錢進大巨蛋迎接祝賀這批選手嗎4
[閒聊] 遞個水4
[閒聊] 王維中 threads4
Re: [討論] 金河成乳摸11
[討論] 大餅有點像高津3
[分享] 水門禮 中華隊同班機3
[開戰] 古素琴3
[閒聊] 成就了一段姻緣嗎3
[閒聊] 錢公在關鍵時刻