Re: [爆卦] 2024諾貝爾物理獎
※ 引述 《Eriri》 之銘言：
: 其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理"
阿肥外商碼農阿肥啦！
快下班才看到這篇，寫得太好了。就補充幾個點，當前深度學習很少會去提Hopfield Network甚至Boltzmann machine真正的原因就是當前的模型架構早就脫離全連結的架構了。
不知道全連結可以看看這張我從微軟官方找到的兩層RBM圖：
https://i.imgur.com/IsU2Adg.png
如果像這種全連結做深做複雜以後，由於兩兩神經節點會相互更新，得到新的權重會還會在反覆疊代到取得動力平衡為止。所以計算複雜度就會很高，加上不管是Hopfield或是Botzmann machine都不像是監督式NN或自監督NN有真實的標籤可以對照，這種仿生Cognitive model最初就是想模擬生物腦，所以效果都沒辦法做大做深，更不用論現實可用程度。
所以當前流行的就是非全連結的NN再暴力用反向傳播，直接用微積分的chain rule去偏導求整個模型的梯度再一次性更新，這樣非常簡單也非常暴力，做深以後可以擬合任何非線性函數，連隨便一個AutoEncoder模型都輾壓Hopfield，暴力計算下證明了機械腦根本不需要真的模仿生物腦也可以成功。
補充差不多這樣
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.160.247 (臺灣)
※ 編輯: sxy67230 (223.137.99.35 臺灣), 10/09/2024 18:35:42
※ 文章網址:
https://www.ptt.cc/Gossiping/E.djs94eDbdR1E
推
嗯嗯 跟我想的一樣
噓
好的，聽不懂
推
感謝補充
推
之前就想過了 太簡單不想發paper
推
脈衝神經網路還比較像神經腦的運作
→
是的 全連結架構中 若是想要更新權重 需要
→
整個系統動力學平衡的過程 另外 單從擬合含
→
數的角度 也沒法輕易擬合任何非線性函數
推
我有的是資源
推
就跟把馬子一樣 幽默帥身高這些花招都假
→
的 身價百億暴力解才是硬道理
噓
工三小 拎杯墊資都聽不懂
76
首Po瑞典皇家科學院決定將2024年諾貝爾物理學獎授予John J.field和Geoffrey E. Hinton ，以表彰其“通過人工神經網路實現的基礎性發現與發明」。 約翰‧J‧霍普菲爾德 (John J. Hopfield) 1933 年出生於美國伊利諾州芝加哥。1958 年獲得美國紐約州伊薩卡康乃爾大學博士學位。美國新澤西州普林斯頓大學教授。![[爆卦] 2024諾貝爾物理獎](https://www.nobelprize.org/uploads/2018/09/New-will-fullsize-496x328.jpg "[爆卦] 2024諾貝爾物理獎")
3
物理是這樣的厚 你不一定要發表開創性的理論 你只要能用既有理論研究沒人研究過的現象 根據你的理論假設跑完模擬，做出實驗 且數據都能佐證你的假設，就能發期刊了3
阿肥外商碼農阿肥啦！ 這邊說一個八卦，台灣媒體比較少提到Hinton的原話，”I am flabbergasted, I had no i dea this would happen”（我目瞪口呆，我不知道這件事情竟然就發生在我身上）。 連辛頓老爺都很驚訝自己怎麼就得了一個物理學獎了，回顧往年諾貝爾物理學獎連做理論物 理都不一定可以拿到獎了，更何況神經網路雖然確實有很多理論借鑑物理學（像波茲曼機、9
說神經網路學習應該算資工的 其實是眼光只放在現今人為分科 忽視整個領域發展脈絡的淺薄評語 實際上在機器學習火熱前 資工系根本不需要懂什麼微積分、線性代數 (雖然台灣的大學大都還是規定必修) 這就說明 AI 以資工來講本身就是滿"另類"的子領域12
其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理" 而是...單就物理而言 到底夠不夠原創性或有影響力 早期的機器學習 其實分很多種不同的路線 其中有些路線是受到物理和大腦神經科學研究的直接影響 試圖由真實的神經科學出發 建立物理模型 來理解和重現大腦真正的認知過程
爆
[閒聊] 訓練了一個生成凱留頭的模型廢話不說先直接上結果 使用範例:![[閒聊] 訓練了一個生成凱留頭的模型](https://i.imgur.com/I4xNU6Ab.jpg "[閒聊] 訓練了一個生成凱留頭的模型")
78
[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]版本資訊來啦！而且這次的內容超級多！生化科技飛龍的光榮回歸、全新效果的生化科技 峽谷、3 隻可愛的全新打野夥伴、7 件全新道具、全新的隨機單中模式平衡改動，還有全 新的……現在你懂我們指的超級多是什麼意思了吧～ 歡迎來到《英雄聯盟》的 2023 季前版本！![[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]](https://cdngarenanow-a.akamaihd.net/games/lol/2022/11/LOL_12-22.jpg "[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]")
43
Re: [請益] NVDA跟AMD怎麼突然崩了本來中午要去吃飯剛好看到這篇，雖然我說的內容可能大部分人也可能不太理解， 但巷子內的看到應該會覺得還是蠻怪的，當然有更多大神指點是更好的 ※ 引述《LDPC (Channel Coding)》之銘言： : 週末有點時間 之前寫的老黃故事 : 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力![Re: [請益] NVDA跟AMD怎麼突然崩了](https://miro.medium.com/v2/resize:fit:772/1*9bgIVlCRKiL7hxgvZW0wjg.png "Re: [請益] NVDA跟AMD怎麼突然崩了")
6
Re: [討論] GPU加速Transistor層的模擬器我有把你下面推文的兩個連結看了以確定我盡量能理解你的目的。 文中你提到transistor-level與邏輯閘層(gate-level)模擬， 這兩個用詞在你的語境下所代表的意思有點模糊， 我用我的理解以及上篇crossbar的觀點來定義一下： - transistor-level:3
[問卦] 評估後,該怎麼改善這個深度學習模型?好不容易建構好幾個深度學習模型, 依照專案的安排, 把整理好的dataset拿來跑實驗, 評估模型好壞, 其中一個評估是採用ROC curve,2
Re: [黑特] AI什麼時後崩盤自從 Hinton 提出反向傳播演算法以來，人工智慧領域在過去幾十年來並沒有出現真正意義上的突破。目前的進展主要集中在透過收集更多訓練資料和建立更大的神經網路來提高模型效能。然而，這種粗放的做法並沒有觸及問題的核心，只是不斷填滿內核空間，並沒有帶來演算法層面的革新。 雖然像 CNN 和 Transformer 這樣的架構看似新穎，但實際上，如果運算能力夠強大，這些技巧也並非必要。理論上，一個兩層的無限寬神經網路就足以擬合任何複雜邊界，並且擁有無限大的模型容量。 真正的突破需要在演算法層面實現創新，而計算力只是次要因素。目前， 整個人工智慧框架都建立在統計機器學習的基礎上，這限制了我們的思維和探索。 我們局限於inference 要嘛 Frequentist ，不然就 Bayesian inference，
[討論] neuralGCM 基於神經網路的通用循環模型本篇論文一樣由google的研究發表，包含以下幾點特點 1. 相較於graphcast直接對數據擬合，此模型同時採用物理核心與神經網路，預測過程受 ODE等物理條件限制，並採用類似數值模式的時間積分型式。![[討論] neuralGCM 基於神經網路的通用循環模型](https://i.imgur.com/fiau2Afb.jpg "[討論] neuralGCM 基於神經網路的通用循環模型")
![[問卦] 評估後,該怎麼改善這個深度學習模型?](https://lh3.googleusercontent.com/FblUMIYq2NycN3CPWvxvJ348u0t81VCu62UrMNkObv_vsp1zwO2W8mOR04odG5TgHds=w1200-h630-p "[問卦] 評估後,該怎麼改善這個深度學習模型?")
爆
[問卦] 【Live】Mike Tyson VS Jake Paul![[問卦] 【Live】Mike Tyson VS Jake Paul](https://occ-0-3594-395.1.nflxso.net/dnm/api/v6/E8vDc_W8CLv7-yMQu8KMEC7Rrr8/AAAABcXvvw49nj1vssOhXSyf6fZH9M9fIFCahfP9UFXT5guuTQ6biN_qkjq6XXzyhiMGcX1orJGG4ym_iayfq0ugkVf5cGCEQfBeRLxs.jpg?r=77a "[問卦] 【Live】Mike Tyson VS Jake Paul")
爆
[問卦] 大榮貨運還不倒閉，我總覺得很不可思議![[問卦] 大榮貨運還不倒閉，我總覺得很不可思議](https://i.imgur.com/YKpNIv6b.jpeg "[問卦] 大榮貨運還不倒閉，我總覺得很不可思議")
爆
[問卦] 馬斯克的政府效率部公佈最蠢支出![[問卦] 馬斯克的政府效率部公佈最蠢支出](https://i.imgur.com/2XhxaH0b.jpg?fb "[問卦] 馬斯克的政府效率部公佈最蠢支出")
爆
Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯![Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯](https://i.imgur.com/0w7ZyIib.png "Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯")
93
[問卦] 58歲泰森怎麼那麼猛![[問卦] 58歲泰森怎麼那麼猛](https://i.imgur.com/boXvZqAb.jpeg "[問卦] 58歲泰森怎麼那麼猛")
49
[問卦] 范琪斐的婚姻 是我少見多怪嗎？![[問卦] 范琪斐的婚姻 是我少見多怪嗎？](https://i.ytimg.com/vi/icyAfUCWOXk/maxresdefault.jpg "[問卦] 范琪斐的婚姻 是我少見多怪嗎？")
40
[問卦] 直接投降vs被殺光再投降![[問卦] 直接投降vs被殺光再投降](https://i.imgur.com/wYmXvq7b.gif "[問卦] 直接投降vs被殺光再投降")
60
[爆卦] 世紀拳賽 泰森輸了…………50
[問卦] 印度空污也太恐怖了吧？![[問卦] 印度空污也太恐怖了吧？](https://i.imgur.com/K2wMGewb.jpeg "[問卦] 印度空污也太恐怖了吧？")
45
[問卦] 姓胡的怎麼幫小孩取名字32
[問卦] 哇耖麥當勞超扯的啦![[問卦] 哇耖麥當勞超扯的啦](https://i.imgur.com/1Hr9gWgb.jpeg "[問卦] 哇耖麥當勞超扯的啦")
48
Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯![Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯](https://i.imgur.com/cE9RN99b.jpg "Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯")
23
[問卦] 憑什麼GOGORO二手價這麼差？？![[問卦] 憑什麼GOGORO二手價這麼差？？](https://i.imgur.com/hbMK6Ukb.jpeg "[問卦] 憑什麼GOGORO二手價這麼差？？")
37
Re: [問卦] 大榮貨運還不倒閉，我總覺得很不可思議62
[問卦] 月薪3-4萬，有辦法結婚生子嗎==?25
[問卦] 前幾天有去買鬆餅漢堡的請進![[問卦] 前幾天有去買鬆餅漢堡的請進](https://i.imgur.com/ytNxFOSb.jpeg "[問卦] 前幾天有去買鬆餅漢堡的請進")
30
[問卦] 網紅阿Paul vs 咬耳森開打啦69
[問卦] 魚油是不是真的很強啊？![[問卦] 魚油是不是真的很強啊？](https://img.youtube.com/vi/iLRPG650XwM/mqdefault.jpg "[問卦] 魚油是不是真的很強啊？")
28
[問卦] 大家都不擔心台股開始走空嗎???![[問卦] 大家都不擔心台股開始走空嗎???](https://i.imgur.com/CyS8rmwb.jpg "[問卦] 大家都不擔心台股開始走空嗎???")
29
[問卦] 有泰森直播討論區嗎？46
[問卦] 這個人體標本是薄熙來的情婦嗎？23
[問卦] 台灣哪一所醫學系跟波波差不多？![[問卦] 台灣哪一所醫學系跟波波差不多？](https://i.imgur.com/lkiwjosb.jpeg "[問卦] 台灣哪一所醫學系跟波波差不多？")
24
[問卦] 泰森終於要上場了22
[問卦] 大伯家絕後了該怎麼安慰他？![[問卦] 大伯家絕後了該怎麼安慰他？](https://i.imgur.com/iy8vjJkb.jpeg "[問卦] 大伯家絕後了該怎麼安慰他？")
23
[問卦] 小智出外旅行這麼多年 伙食生活費哪來的?19
[問卦] 過去八年哪一個金句最讓你刻骨銘心呢？![[問卦] 過去八年哪一個金句最讓你刻骨銘心呢？](https://i.imgur.com/6wWa11Kb.jpeg "[問卦] 過去八年哪一個金句最讓你刻骨銘心呢？")
22
[問卦] 高鐵北上有刀出沒？![[問卦] 高鐵北上有刀出沒？](https://scontent.cdninstagram.com/v/t51.29350-15/466703589_1098814091644825_3803179936256296046_n.webp?stp=dst-jpg_e35&efg=eyJ2ZW5jb2RlX3RhZyI6ImltYWdlX3VybGdlbi40MDAweDIyNTAuc2RyLmYyOTM1MC5kZWZhdWx0X2ltYWdlIn0&_nc_ht=scontent.cdninstagram.com&_nc_cat=101&_nc_ohc=YfyLX_xqpygQ7kNvgEpJRMr&_nc_gid=017ef2a9924e4f9b8367dc16978eb661&edm=APs17CUBAAAA&ccb=7-5&ig_cache_key=MzUwMjMxNDA2MzU2NzYwNDcyNw%3D%3D.3-ccb7-5&oh=00_AYA-bfi0uPzXf6QydwX5c2CMlZ1djf165eYGqHDWY8QOFg&oe=673E0568&_nc_sid=10d13b "[問卦] 高鐵北上有刀出沒？")
20
Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯18
[問卦] 是不是只有北部麥當勞才在排隊啊？12
Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯![Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯](https://i.imgur.com/j4KaNlvb.jpg "Re: [新聞] 早預感黃珊珊鬧翻藍白合！蕭旭岑爆柯")
![[爆卦] 世紀拳賽 泰森輸了…………](https://i.imgur.com/OlEeXFtb.jpeg42.70.10.205 "[爆卦] 世紀拳賽 泰森輸了…………")