Re: [討論] ChatGPT的思維是甚麼?
※ 引述《paulcaptain (我不會寫程式)》之銘言:
阿肥外商碼農阿肥啦!
剛好看到這篇文章就回覆一下,這次大型語言模型(LLM)表現出來的是語言模型的湧現能力,我其實不贊同LeCun說的LLM是歪路,畢竟雖然我們可以直覺知道加大網路連接數可能是實踐人類大腦的一個重要步驟(畢竟人腦的連結數量跟複雜性在生物醫學上都有驗證),但科學上不去驗證你沒辦法證明某些事情的。
我這邊科普一下湧現(Emergent)能力是啥好了,所謂的湧現源自於生物學就是指當生物
系統夠複雜的時候,就會表現出他群集本來不具備的功能,像人類社會就是這樣的。而套用到LM上就發現到這種狀況普遍存在大型語言模型,像LaMDA、GPT-3、Gopher這些LLM都表現出跟人類一樣出色的類比、歸納能力甚至更出色,甚至不需要做任何直接訓練很多實驗中都驗證只要只要夠大,自然就有湧現能力,這也驗證了為啥prompt tuning在LLM上面才可行,因為你夠大就可以用prompt 刺激他某些激活神經元,出現本來不具備的能力(有興趣知道prompt tuning可以去看一下chain of thought 那篇論文)。而正經瞎掰有時候正是人類文明的特色,自然界很多物種其實是不會虛構事實跟類比的。
回到為啥他數學不好的點上,這邊其實蠻多針對chatGPT跟大型LLM的論文或是博客研究都發現到當前LLM對於歸納推理、因果推論、空間推理都是表現蠻差的,而且大小模型也不會因為增加參數規模而獲得更好的結果,這正好是由於其實模型現在的理解力是基於橫向水平的,而數學、因果推論其實是空間物理樹狀的,舉例來說,你做加法或乘法的時候其實是先去檢索過往有沒有背過相似的模板然後在去想像空間樹狀垂直相乘或相加(我自己腦袋是比較差的,但是之前討論過大部分跟我智力水平差不多應該都是這樣,也許有人可以趴一下橫向思考腦袋就出現計算結果,但當前不討論),這點是當前LLM不具備的,畢竟當前基於的模型結構都是基於橫向語言優化的,也沒有物理規則的概念,所以也驗證了當前LLM的侷限性。
至於程式語言為啥chatGPT表現優異我覺得主要還是在於,其實現代的程式語言都是封閉自洽的,而且說其實我們人類在看程式碼是垂直樹狀佈局的,但其實思維上依然是橫向佈局,而這種模式是跟LLM天然相似的,所以你要他實作一個功能真的相對單純,不過人類有空間佈局的概念也看出來為啥LLM還做不到系統級的設計,你只能一個一個把他原子化成橫向思考再來問他實作功能才是最好的。
其實我更傾向把這次LLM的實驗當作是AI/DL領域對於複雜系統的文藝復興,有了這次的實驗後該思考的是如何解構大腦思維與神經元之間的關聯,讓機器去真正理解物理世界的規則、建構樹狀空間的複雜語言模型,坦白說,這只是通用人工智慧(AGI)的一個開端,打開這個複雜的盒子後才是黑暗大陸的探索。
剩下的因為太過學術的東西就不再這個版上討論了,有興趣未來可以聊,差不多先醬
--
板上同時有高水準文章好不適應xd
強大
推一下
湧現的現象確實很耐人尋味,差500這個點是chatGPT
有意為之還是真的算錯?還是真的耍俏皮?耐人尋味
推
push
推
好認真啊
一堆不太相干的名詞 其實什麼都沒解釋到
對,我可能講得不太好,這邊是綜合好幾篇的Paper跟自己長年研究NLP的一點小心得,真 的有興趣我覺得可以延伸閱讀,Emergent Abilities of large language model,這是去 年Google research 跟Deep Mind的綜合成果,裡面也有詳細的實驗。敝人學識淺薄,我 說得不好還請包含~
很像ChatGPT 的回答
你講的沒錯
湧現這個現象確實很有趣 但目前缺乏證據跟因果關係
目前包含Google research 那篇(Jeff Dean也是作者之一)都是從實驗結果驗證出來的, 利用物理跟生物的定律來解釋為什麼量變產生質變、大力出奇蹟有效,不過人類當前對於 複雜系統為什麼會產生質變跟穩定性還有得探究的說,真的要研究嚴謹一點的證明LLM可 能還需要再等等。大型語言模型怎麼發生突發演生都能成功解釋的話,那複雜系統問題包 含預測混沌都有解了。 補充一下:我會接受這個觀點主要還是這樣的現象與實驗佐證的合理性很高,而且非 常直覺,可能已經接近解釋LLM跟人腦的真相了,否則人類做為地球上的一個物種之一, 為 啥只有人類發生智慧,不太可能是因為有特殊構造比較大的可能是我們的神經元連結發生 了物理意義上的突發演生,這也符合奧卡姆剃刀原理,簡單可能是最接近真相的。
※ 編輯: sxy67230 (49.216.176.13 臺灣), 02/17/2023 13:43:27不錯的觀點,目前LLM百花齊放,未來期待有更多的研
究
有趣的文,推推
推 大力出奇蹟確實是很有意思的觀察
Self attention 要怎麼讀才能瞭解?
AGI才正要開始,蠻多學校要開始弄了
外行人瞎扯路)亂說,順便算大神LeCun,結果還有人推
。 02/17 17:18
真的是越外行越愛酸真正懂AI 的人耶
你先去看那篇論文的 Emergent ability是怎麼定義的
,跟你解釋瞎扯的完全不同。
那篇論文是模型大到一定程度說loss的突然降低,沒說
會出現本來不具備的能力喔。
DrTech大大別氣,我也沒有否定LeCun也沒酸他,就是不贊同他說是歪路而已,但我也認 同他說的當前LLM沒有因果推理能力。還有我覺得大大可以重讀一下paper,作者是用Big- Benc h給予測試主要是以EM/BLUE/ACC跟模型參數大小為指標研究(後來還有魯棒性就暫時不提 了 ),作者確實有研究loss在附錄中發現一些特定任務在小模型上雖然loss有下降但Error R ate卻沒有反應到下游任務上,當參數量加大突然就獲得了小模型本來不具備的能力,這 個作者定義為湧現能力。(我想是我在原文中因為一次性想說明太多事情所以就直接給了 結論,這樣造成閣下誤會我也跟你道歉)。好好討論就好,不要動不動爆氣喔~
An ability is emergent if it is not present in
smaller models but is present in larger models.
生出合格的語言/程式碼和生出合格的數學式本來就不
是同一件事
1+1=3是合格的語言/程式碼 回傳為False
所以 重點更在於在不同脈絡下 人類感覺"厲害"的標
準不一樣了 自己卻沒意識到
你對數學式做再多樹狀分析 也找不到使數學式為真的
規則 因為那是semantics不是syntax
湧現這種現象本來就很符合現實 現實中很多複雜的東
西其基礎構造都很簡單 比如說邏輯閘最後變成CPU GPU
量大到一定程度 量變產生質變
板上同時有高水準文章好不適應xd
不應該說不具備,而是還沒發掘而已
覺得台灣這領域的教授可以減薪了。
推推
87
[情報] 產生式 AI 大爆發 NVIDIA GPU 恐供不應求生成式 AI 大爆發,NVIDIA GPU 恐供不應求 來源 微軟 Bing 搜尋引擎整合 ChatGPT,加上其他生成式 AI 工具的需求攀升 都相當依賴人工智慧處理能力,正是 NVIDIA GPU 優勢所在 當科技公司利用 NVIDIA GPU 滿足增長的 AI 需求44
[情報] 蘋果會將生成式AI帶入其生態體系嗎?【新聞/情報來源】 原網址: 短網址: 【新聞/情報內容】(國外文章請附上簡單翻譯) 微軟已經宣布與ChatGPT達成協議,將其生成式AI內建到其搜尋引擎Bing中。至於谷歌,32
[心得] Wustl LLM轉JD心得(文長慎入,手機排版若有不便閱讀之處還請告知) 一 . 前言 其實非常猶豫是不是應該要發這篇心得文,因為這一路走來並不是非常光鮮亮麗,跟板上 諸多神人相比我實在是非常普通的背景。但是最近發現越來越多人想要出國念JD,而且越 來越多人在想LLM to JD這條路是否可行,因此這篇文是用以給正在迷茫抉擇是否要選擇7
[討論] 野雞但有美國牌 vs. top20但沒有美國牌?想請問一下 如果 就業市場 在台灣 這兩個比較 1. 野雞llm 或是線上野雞llm 但有考到美國牌 2.top20 llm 但沒有考到美國牌4
Re: [新聞] 美國紐約州律師考試公布榜單 小室圭「殘我覺得這沒啥好酸的 他才去第一年就要用英文考試 而且是考律師= = 中間還要面對媒體對婚事的一堆提問 你覺得86%好考6
Re: [閒聊] 為啥AI總是會叛亂?如果電腦的程式只是單純人類一行一行寫出來的,電腦的一切都是可以預測的。 在這種方式下,有人真的認為它是人工智慧嗎? 電腦會不會叛變,會不會試著統治人類,恐怕跟它怎麼想沒有關係, 它依然只是照著指令行事,我不認為它具有思考能力,或至少沒有深度思考的能力。 (思考的定義為何?在此暫不討論。)4
[心得] 荷蘭Leiden University LLM就讀經驗分享大家晚安, 我2019年在版上po過美國LLM的申請記錄,但因緣際會下現在跑來了荷蘭Leiden University念Law & Digital Technologies (Advanced LLM)。 有鑑於網路上關於在荷蘭念LLM的心得相對比較少,最近到了申請季末也有被問到課程和 選校之類的問題,所以想在這裡分享從去年入學以來的記錄,希望可以帶給有需要的人一2
[錄取] 荷蘭Leiden University LL.M.申請學校: 同意 Leiden University Advanced LL.M. in Digital Technolgies Admitted Utrecht University LL.M. Law and Technology in Europe- 要PO這篇文章之前我內心各種糾結,因為我的學經歷非常弱,就是個運氣好的人, 但因為一直都有來念LLM的學弟妹會來問我問題(可能我是唯一存活的), 所以我決定來分享一下我的求職經驗,希望能幫助到一些有志願想來美國發展的人。 先說適用背景:沒有LLB(也就是沒有臺灣律師執照),沒有美國身份,沒有PhD, 跟我一樣是科技背景(BS)偷吃步來念IP LLM的雜牌軍(認真)