Re: [爆卦] 2024諾貝爾物理獎

其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理"

而是...單就物理而言 到底夠不夠原創性或有影響力

早期的機器學習 其實分很多種不同的路線

其中有些路線是受到物理和大腦神經科學研究的直接影響

試圖由真實的神經科學出發 建立物理模型 來理解和重現大腦真正的認知過程

有很多物理學家或受物理訓練的人投入其中

包含費曼在內 一些物理學家其實也對機器學習很感興趣

甚至Hinton本人也算是受過物理訓練的

他和上帝粒子的Higgs的指導教授是同個人

在這種早期受物理和大腦神經科學直接啟發的路線中

Hopfield的模型可以說是最大突破

雖然Hinton是現在知名度更高的那位

但Hopfield的工作才是諾獎委員們 用來把這次物理獎頒給機器學習的切入點(藉口)

Hinton得獎的"官方"理由 是他接續在Hopfield模型後的一些工作
(然而 另一方面 我認為Hinton終究才是諾貝爾獎委員們這次真正想給獎的那位)

那麼就稍微簡單介紹一下Hopfield的模型: Hopfield network

這應該可以說是在模擬記憶的機制上 最早的數學可解物理模型

但這個工作 在我看來 不能完全說是Hopfield自己獨立創立

大致上建立在兩個前人的工作上

1. 赫布學習理論

赫布是個神經科學家 在1949年就認為

記憶由是大腦中兩個單獨的鄰近神經元之間的狀態所儲存和決定的

套用現在流行的深度神經網路的語言的話

在赫布理論中 兩個神經元之間的權重是由彼此各自狀態所決定的

2. 自旋玻璃

自旋玻璃是種磁性模型 可以看做是很多個小磁矩形成的系統

而磁矩之間的交互作用是隨機的

自旋玻璃在2021年其實就拿過諾貝爾物理獎了

在這裡沒法簡單科普 只需要提及

在自旋玻璃裡 系統的整體能量狀態 就像是複雜的山丘山谷地形一樣 有非常多的局部極小質

這導致自旋玻璃有很多奇特的性質

Hopfield的工作 就是他從赫布的理論出發

建立了一套模擬記憶的神經元網路數學可解模型

這個網路數學上也看成是一個自旋玻璃的模型 而神經元就對映著磁矩

在這模型裡 記憶是由神經元的狀態所決定

而整個network的能量狀態 和自旋玻璃的能量是完全對應的

所以和自旋玻璃一樣 就像是複雜的山丘山谷地形

隨著時間 整個network狀態 會根據能量而演化成能量的局部極小值

而這個動力學過程 就好像是大腦將外界的輸入 和儲存的記憶作比對的過程

這就是Hopfield network的物理意義

受限於篇幅和記憶 部分重要概念可能有點忽略

畢竟小弟學習Hopfield模型是剛進PhD的時候 在一門生物物理的Lecture上學的

當時深度學習還沒有出圈 那時也沒想到這個工作最後拿了諾貝爾物理獎

其實 Hopfield的模型雖然很有趣 但生物物理中 類似的"擬"物理模型是非常多的

特別跟Hopfield模型一樣 受到自旋玻璃的研究啟發 用來解釋生物物理現象的有很多

其中有些工作的重要性 單從物理和解釋現象的角度來看

價值和影響力恐怕都未必亞於Hopfield newtork

畢竟 說到底這終究只是"模擬"記憶機制的模型

Hopfield雖然是很偉大的物理學家

但這次之所以可以得獎 難免還是跟深度學習的火紅脫離不了關係

而另一方面 現在的機器學習 除非是真的想要認識更多早期的發展脈絡

不然很少會特別提到Hopfield的工作 這也不是沒有原因的

畢竟現在廣泛使用的深度神經網路

其結構跟學習機制 跟Hopfield network已經不完全一樣了

隨著GPU的快速發展 簡單粗暴的深度神經網路 直接和樣本作比對

搭配反向傳播 尋找損失函數(而非網路系統的能量)的極小值 來求解權重

比起Hopfield network的機制更加直接和有效

其中學習的過程跟物理或者真實大腦機制的關係 相較之下沒有那麼清晰的聯繫

這也是我上面說的 雖然Hinton的工作和物理比較沒有直接相關

然而 如果不是因為他(和黃仁勳) 那麼深度學習必然不會像今天那麼火紅

所以諾獎委員還是特別用他早年延續Hopfield network的工作

Boltzman machine 來當作給獎理由

小弟只能說...從小弟看來 諾獎委員們這次是鐵了心非得給機器學習一個物理獎

然後再從裡面找出個最可以跟物理扯關聯的工作

--

確實我感覺諾貝爾獎委員們的本意應該是想強調物理=AI頭 先不說這是不是事實 就結果恐怕適得其反 讓人感覺更像是在蹭AI熱潮

痾 我是要說他跟Higgs是同門師兄弟 Higgins也是Higgs的指導教授啊