Re: [爆卦] 2024諾貝爾物理獎
※ 引述 《Eriri》 之銘言：
: 其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理"
阿肥外商碼農阿肥啦！
快下班才看到這篇，寫得太好了。就補充幾個點，當前深度學習很少會去提Hopfield Network甚至Boltzmann machine真正的原因就是當前的模型架構早就脫離全連結的架構了。
不知道全連結可以看看這張我從微軟官方找到的兩層RBM圖：
https://i.imgur.com/IsU2Adg.png
如果像這種全連結做深做複雜以後，由於兩兩神經節點會相互更新，得到新的權重會還會在反覆疊代到取得動力平衡為止。所以計算複雜度就會很高，加上不管是Hopfield或是Botzmann machine都不像是監督式NN或自監督NN有真實的標籤可以對照，這種仿生Cognitive model最初就是想模擬生物腦，所以效果都沒辦法做大做深，更不用論現實可用程度。
所以當前流行的就是非全連結的NN再暴力用反向傳播，直接用微積分的chain rule去偏導求整個模型的梯度再一次性更新，這樣非常簡單也非常暴力，做深以後可以擬合任何非線性函數，連隨便一個AutoEncoder模型都輾壓Hopfield，暴力計算下證明了機械腦根本不需要真的模仿生物腦也可以成功。
補充差不多這樣
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.160.247 (臺灣)
※ 編輯: sxy67230 (223.137.99.35 臺灣), 10/09/2024 18:35:42
※ 文章網址:
https://www.ptt.cc/Gossiping/E.djs94eDbdR1E
推
嗯嗯 跟我想的一樣
噓
好的，聽不懂
推
感謝補充
推
之前就想過了 太簡單不想發paper
推
脈衝神經網路還比較像神經腦的運作
→
是的 全連結架構中 若是想要更新權重 需要
→
整個系統動力學平衡的過程 另外 單從擬合含
→
數的角度 也沒法輕易擬合任何非線性函數
推
我有的是資源
推
就跟把馬子一樣 幽默帥身高這些花招都假
→
的 身價百億暴力解才是硬道理
噓
工三小 拎杯墊資都聽不懂
76
首Po瑞典皇家科學院決定將2024年諾貝爾物理學獎授予John J.field和Geoffrey E. Hinton ，以表彰其“通過人工神經網路實現的基礎性發現與發明」。 約翰‧J‧霍普菲爾德 (John J. Hopfield) 1933 年出生於美國伊利諾州芝加哥。1958 年獲得美國紐約州伊薩卡康乃爾大學博士學位。美國新澤西州普林斯頓大學教授。![[爆卦] 2024諾貝爾物理獎](https://www.nobelprize.org/uploads/2018/09/New-will-fullsize-496x328.jpg "[爆卦] 2024諾貝爾物理獎")
3
物理是這樣的厚 你不一定要發表開創性的理論 你只要能用既有理論研究沒人研究過的現象 根據你的理論假設跑完模擬，做出實驗 且數據都能佐證你的假設，就能發期刊了3
阿肥外商碼農阿肥啦！ 這邊說一個八卦，台灣媒體比較少提到Hinton的原話，”I am flabbergasted, I had no i dea this would happen”（我目瞪口呆，我不知道這件事情竟然就發生在我身上）。 連辛頓老爺都很驚訝自己怎麼就得了一個物理學獎了，回顧往年諾貝爾物理學獎連做理論物 理都不一定可以拿到獎了，更何況神經網路雖然確實有很多理論借鑑物理學（像波茲曼機、9
說神經網路學習應該算資工的 其實是眼光只放在現今人為分科 忽視整個領域發展脈絡的淺薄評語 實際上在機器學習火熱前 資工系根本不需要懂什麼微積分、線性代數 (雖然台灣的大學大都還是規定必修) 這就說明 AI 以資工來講本身就是滿"另類"的子領域12
其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理" 而是...單就物理而言 到底夠不夠原創性或有影響力 早期的機器學習 其實分很多種不同的路線 其中有些路線是受到物理和大腦神經科學研究的直接影響 試圖由真實的神經科學出發 建立物理模型 來理解和重現大腦真正的認知過程
爆
[閒聊] 訓練了一個生成凱留頭的模型廢話不說先直接上結果 使用範例:![[閒聊] 訓練了一個生成凱留頭的模型](https://i.imgur.com/I4xNU6Ab.jpg "[閒聊] 訓練了一個生成凱留頭的模型")
78
[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]版本資訊來啦！而且這次的內容超級多！生化科技飛龍的光榮回歸、全新效果的生化科技 峽谷、3 隻可愛的全新打野夥伴、7 件全新道具、全新的隨機單中模式平衡改動，還有全 新的……現在你懂我們指的超級多是什麼意思了吧～ 歡迎來到《英雄聯盟》的 2023 季前版本！![[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]](https://cdngarenanow-a.akamaihd.net/games/lol/2022/11/LOL_12-22.jpg "[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]")
43
Re: [請益] NVDA跟AMD怎麼突然崩了本來中午要去吃飯剛好看到這篇，雖然我說的內容可能大部分人也可能不太理解， 但巷子內的看到應該會覺得還是蠻怪的，當然有更多大神指點是更好的 ※ 引述《LDPC (Channel Coding)》之銘言： : 週末有點時間 之前寫的老黃故事 : 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力![Re: [請益] NVDA跟AMD怎麼突然崩了](https://miro.medium.com/v2/resize:fit:772/1*9bgIVlCRKiL7hxgvZW0wjg.png "Re: [請益] NVDA跟AMD怎麼突然崩了")
6
Re: [討論] GPU加速Transistor層的模擬器我有把你下面推文的兩個連結看了以確定我盡量能理解你的目的。 文中你提到transistor-level與邏輯閘層(gate-level)模擬， 這兩個用詞在你的語境下所代表的意思有點模糊， 我用我的理解以及上篇crossbar的觀點來定義一下： - transistor-level:3
[問卦] 評估後,該怎麼改善這個深度學習模型?好不容易建構好幾個深度學習模型, 依照專案的安排, 把整理好的dataset拿來跑實驗, 評估模型好壞, 其中一個評估是採用ROC curve,2
Re: [黑特] AI什麼時後崩盤自從 Hinton 提出反向傳播演算法以來，人工智慧領域在過去幾十年來並沒有出現真正意義上的突破。目前的進展主要集中在透過收集更多訓練資料和建立更大的神經網路來提高模型效能。然而，這種粗放的做法並沒有觸及問題的核心，只是不斷填滿內核空間，並沒有帶來演算法層面的革新。 雖然像 CNN 和 Transformer 這樣的架構看似新穎，但實際上，如果運算能力夠強大，這些技巧也並非必要。理論上，一個兩層的無限寬神經網路就足以擬合任何複雜邊界，並且擁有無限大的模型容量。 真正的突破需要在演算法層面實現創新，而計算力只是次要因素。目前， 整個人工智慧框架都建立在統計機器學習的基礎上，這限制了我們的思維和探索。 我們局限於inference 要嘛 Frequentist ，不然就 Bayesian inference，
[討論] neuralGCM 基於神經網路的通用循環模型本篇論文一樣由google的研究發表，包含以下幾點特點 1. 相較於graphcast直接對數據擬合，此模型同時採用物理核心與神經網路，預測過程受 ODE等物理條件限制，並採用類似數值模式的時間積分型式。![[討論] neuralGCM 基於神經網路的通用循環模型](https://i.imgur.com/fiau2Afb.jpg "[討論] neuralGCM 基於神經網路的通用循環模型")
![[問卦] 評估後,該怎麼改善這個深度學習模型?](https://lh3.googleusercontent.com/FblUMIYq2NycN3CPWvxvJ348u0t81VCu62UrMNkObv_vsp1zwO2W8mOR04odG5TgHds=w1200-h630-p "[問卦] 評估後,該怎麼改善這個深度學習模型?")
爆
[問卦] 為什麼不能是討厭中共也討厭綠？![[問卦] 為什麼不能是討厭中共也討厭綠？](https://i.imgur.com/0304clqb.jpeg "[問卦] 為什麼不能是討厭中共也討厭綠？")
95
[問卦] 45歲要不要做近視雷射手術![[問卦] 45歲要不要做近視雷射手術](https://i.imgur.com/8pfDEKTb.jpeg "[問卦] 45歲要不要做近視雷射手術")
爆
[問卦] 鏡週刊 除了1500顆比特幣 還有屯田計劃![[問卦] 鏡週刊 除了1500顆比特幣 還有屯田計劃](https://i.imgur.com/c8o0hXbb.jpeg "[問卦] 鏡週刊 除了1500顆比特幣 還有屯田計劃")
87
[問卦] 收到掛號信 問我要當國民法官嗎![[問卦] 收到掛號信 問我要當國民法官嗎](https://i.imgur.com/h2FSMoOb.jpeg "[問卦] 收到掛號信 問我要當國民法官嗎")
71
[問卦] 女神做什麼事 會讓你幻想破滅?70
[問卦] 台灣傳產怎麼了？![[問卦] 台灣傳產怎麼了？](https://i.imgur.com/G0M3nMDb.jpeg "[問卦] 台灣傳產怎麼了？")
爆
[問卦] 黑熊學院的存在目的為何？![[問卦] 黑熊學院的存在目的為何？](https://i.imgur.com/Mwpi9yBb.jpeg "[問卦] 黑熊學院的存在目的為何？")
78
[問卦] 如果哪天被統一了，仇中的該何去何從?50
[爆卦] 朱蕙容說鏡電視跟北檢果然就是同一家！![[爆卦] 朱蕙容說鏡電視跟北檢果然就是同一家！](https://img.youtube.com/vi/3BHM1KmeAp4/mqdefault.jpg "[爆卦] 朱蕙容說鏡電視跟北檢果然就是同一家！")
45
Re: [問卦] 八卦真的被中國人佔領了？40
[問卦] 為什麼系統槽是默認C槽44
[問卦] 高鐵幫自由座佔位的升級對號座？![[問卦] 高鐵幫自由座佔位的升級對號座？](https://i.meee.com.tw/vxLXR55.jpg "[問卦] 高鐵幫自由座佔位的升級對號座？")
37
[爆卦] 俄羅斯核幅射化學防護司令官被暗殺![[爆卦] 俄羅斯核幅射化學防護司令官被暗殺](https://i.imgur.com/YGfMBIcb.jpeg "[爆卦] 俄羅斯核幅射化學防護司令官被暗殺")
35
[問卦] 推薦一部跟「臥底」有關的電影29
[問卦] 零日攻擊拿1.1億稅金補助 拍出大便怎辦![[問卦] 零日攻擊拿1.1億稅金補助 拍出大便怎辦](https://i.imgur.com/tkYMSFzb.jpeg "[問卦] 零日攻擊拿1.1億稅金補助 拍出大便怎辦")
55
[問卦] 研究顯示 美國英文程度遠勝台灣![[問卦] 研究顯示 美國英文程度遠勝台灣](https://i.imgur.com/8mVwOsZb.jpg "[問卦] 研究顯示 美國英文程度遠勝台灣")
24
[問卦] 統神每天去健身房鍛鍊5小時 你各位可以?爆
[問卦] 中油招募去查德一名 年薪150萬以上![[問卦] 中油招募去查德一名 年薪150萬以上](https://i.imgur.com/byspA3Lb.jpeg "[問卦] 中油招募去查德一名 年薪150萬以上")
31
[問卦] 聖誕節交換禮物500元買什麼才好？![[問卦] 聖誕節交換禮物500元買什麼才好？](https://i.imgur.com/DH6p2Vhb.jpeg "[問卦] 聖誕節交換禮物500元買什麼才好？")
22
[問卦] 講電話 結束通話為何要說「掛」電話![[問卦] 講電話 結束通話為何要說「掛」電話](https://i.imgur.com/hRSRfj2b.jpeg "[問卦] 講電話 結束通話為何要說「掛」電話")
28
[問卦] 為什麼台中沒爹媽奶水，可以崛起這麼快![[問卦] 為什麼台中沒爹媽奶水，可以崛起這麼快](https://i.imgur.com/DTOXWhUb.jpg "[問卦] 為什麼台中沒爹媽奶水，可以崛起這麼快")
25
[問卦] 為什麼北歐國家這麼猛![[問卦] 為什麼北歐國家這麼猛](https://i.imgur.com/1BzNin4b.jpeg "[問卦] 為什麼北歐國家這麼猛")
25
[問卦] 嘉偉會怎麼評價M1A2T17
Re: [新聞] 收沈慶京賄款後食髓知味！柯文哲悄執行「24
Re: [新聞] 快訊／考委人事案蓋錯票！ 黃珊珊急道歉![Re: [新聞] 快訊／考委人事案蓋錯票！ 黃珊珊急道歉](https://i.imgur.com/RG0fr8zb.jpeg "Re: [新聞] 快訊／考委人事案蓋錯票！ 黃珊珊急道歉")
12
[問卦] 只有我覺得貂蟬是老妹了嗎??23
[問卦] 崇禎 跟 君士坦丁ＸＩ 誰更慘？？![[問卦] 崇禎 跟 君士坦丁ＸＩ 誰更慘？？](https://i.imgur.com/VEUdRVvb.png "[問卦] 崇禎 跟 君士坦丁ＸＩ 誰更慘？？")
22
[問卦] 農地要怎麼處理才能發大財?![[問卦] 農地要怎麼處理才能發大財?](https://i.imgur.com/tUscyLqb.jpeg "[問卦] 農地要怎麼處理才能發大財?")
13
Re: [問卦] 八卦真的被中國人佔領了？15
[問卦] 沒人發現螞蟻數量越來越少很詭異嗎！
![[問卦] 女神做什麼事 會讓你幻想破滅?](https://i.imgur.com/pqw34unb.jpg111.249.143.242 "[問卦] 女神做什麼事 會讓你幻想破滅?")
![Re: [問卦] 八卦真的被中國人佔領了？](https://i.imgur.com/g4npbEsb.jpeg42.70.115.163 "Re: [問卦] 八卦真的被中國人佔領了？")