Re: [問卦] 這次的人工智慧熱潮是玩真的嗎？

※ 引述《soulmola (絕頂優文大師)》之銘言：
: 認真問
: 現在歐美亞全力投入人工智慧領域
: AI我10幾年前就聽過了
: 炒了一陣子吹出一堆科系然後就沒然後惹= =
: 時間來到2023年
: 人工智慧再度躍上版面
: 這次連產生意識人類滅亡這種事都擔心起來了
: 到底是豪洨還是真的？
: 我不是這個領域的專家不太懂
: 有沒有高手出來說明一下？
: 對惹GPT4 好猛….
: 八卦否？

阿肥外商碼農阿肥啦！

這波人工神經網路浪潮其實得力於兩三年前Lecun跟Hinton等等大神推廣的自監督的概念。自監督其實就是用一種更有效的方法來學習網路或是數據庫長久以來建立的有效自然對數據，透過自然對來做前訓練期望機器能夠自我學習到自然數據的相對關係。

這其實我們的大腦可能也存在相似的功能，這幾年隨著腦科學的研究其實有一種比較新穎的想法就是我們的新皮質柱可能不如我們之前設想的有功能上的區分，甚至有可能他其實都是同一種新皮質細胞(也就是語言、數理能力包含視覺其實都是同一種細胞)，唯一的差異只有輸入不同才導致他功能不同，而這些新皮質柱其實都存在一種世界模型(world model)，透過世界模型來預測建立參考框架(reference frame)來修正自己大腦的模型，像是我們觸摸杯子大腦會事先預測杯子的幾何構造，杯身跟杯耳之間的相對關係，當我們大腦發現存在差異時就會即時修正這個關聯跟更新世界模型。

這邊也可以看出自監督學習會成功的原因是因為他建構的高維空間座標模式其實是跟大腦有相似之處的，但是也存在不同的地方。

過往採用監督訓練其實在五六年前在封閉工業環境已經成功了，但是其實在工業環境對於非在這個領域的業界跟學界其實還是太遙遠了，而這次自監督模式反而因為跟大腦模式相似所以才會有讓大眾有一種AGI即將誕生的錯覺。

其實整個框架我們也可以發現他跟大腦架構的不同之處，大腦的新皮質通用學習算法其實是比當前的GPT-4還要強的，大腦的通用算法可以在不到幾毫秒就更新，而且他也會去檢查世界模型的衝突決定學習率，而當前的GPT模型並沒有這種功能，甚至他的世界模型我們也很難確定他是否掌握了什麼樣的歸納偏置，近幾個月的研究是有發現GPT-4確實學習了某種類似真實世界低複雜度高結構化數據的能力，只是更多研究還要再累積一些。

最後，一個比較有趣的問題就是今年2023的新paper阿肥有閱讀到一篇其實是讓模型了解物理規則概念的，結果研究人員發現模型你先喂他物理因果關聯的數據做預訓練還不如先給他隱蔽位移(就是給他遮蓋物體的影像)來得好，這就有點有趣了，這似乎某種程度上間接證明了當前基於神經網路的模型他確實學習到了某種表徵表示，但是他確實無法學會人類的隱式邏輯概念，這也證明了模型終究還是基於某種類貝葉斯歸納原則的。

剩下還有蠻多有趣的問題也是發現到基於梯度方法的神經網路有其侷限性，像是下面這張圖我之前在科技版有說明過在這邊就懶得細說了，下面那張圖顯示的是神經網路當前的泛化難題，也就是我們的數據若是不存在0.8,0.8這種藍色位置可以讓梯度下降到共同的minimum位置而是柱形的低點，由於每次我們模型初始差異很有可能走到某個位置雖然都是相同精度但是激活的神經元功能完全不同，這在當前依舊是一個很大的難題，因為模型沒有像人腦的世界模型，我們很難讓他有基礎的學習，這也是當前為什麼很多學者不認為GPT是真正的AGI，因為他離人腦的關係還是差異太大，不過即使如此GPT-4依舊展現給我們大力真的能出奇蹟的湧現能力，這種能力用不同於人類的方式正在改變世界的認知。

https://i.imgur.com/745mSVG.jpg