Re: [爆卦] 2024諾貝爾物理獎
※ 引述 《Eriri》 之銘言：
: 其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理"
阿肥外商碼農阿肥啦！
快下班才看到這篇，寫得太好了。就補充幾個點，當前深度學習很少會去提Hopfield Network甚至Boltzmann machine真正的原因就是當前的模型架構早就脫離全連結的架構了。
不知道全連結可以看看這張我從微軟官方找到的兩層RBM圖：
https://i.imgur.com/IsU2Adg.png
如果像這種全連結做深做複雜以後，由於兩兩神經節點會相互更新，得到新的權重會還會在反覆疊代到取得動力平衡為止。所以計算複雜度就會很高，加上不管是Hopfield或是Botzmann machine都不像是監督式NN或自監督NN有真實的標籤可以對照，這種仿生Cognitive model最初就是想模擬生物腦，所以效果都沒辦法做大做深，更不用論現實可用程度。
所以當前流行的就是非全連結的NN再暴力用反向傳播，直接用微積分的chain rule去偏導求整個模型的梯度再一次性更新，這樣非常簡單也非常暴力，做深以後可以擬合任何非線性函數，連隨便一個AutoEncoder模型都輾壓Hopfield，暴力計算下證明了機械腦根本不需要真的模仿生物腦也可以成功。
補充差不多這樣
--
※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.160.247 (臺灣)
※ 編輯: sxy67230 (223.137.99.35 臺灣), 10/09/2024 18:35:42
※ 文章網址:
https://www.ptt.cc/Gossiping/E.djs94eDbdR1E
推
嗯嗯 跟我想的一樣
噓
好的，聽不懂
推
感謝補充
推
之前就想過了 太簡單不想發paper
推
脈衝神經網路還比較像神經腦的運作
→
是的 全連結架構中 若是想要更新權重 需要
→
整個系統動力學平衡的過程 另外 單從擬合含
→
數的角度 也沒法輕易擬合任何非線性函數
推
我有的是資源
推
就跟把馬子一樣 幽默帥身高這些花招都假
→
的 身價百億暴力解才是硬道理
噓
工三小 拎杯墊資都聽不懂
76
首Po瑞典皇家科學院決定將2024年諾貝爾物理學獎授予John J.field和Geoffrey E. Hinton ，以表彰其“通過人工神經網路實現的基礎性發現與發明」。 約翰‧J‧霍普菲爾德 (John J. Hopfield) 1933 年出生於美國伊利諾州芝加哥。1958 年獲得美國紐約州伊薩卡康乃爾大學博士學位。美國新澤西州普林斯頓大學教授。![[爆卦] 2024諾貝爾物理獎](https://www.nobelprize.org/uploads/2018/09/New-will-fullsize-496x328.jpg "[爆卦] 2024諾貝爾物理獎")
3
物理是這樣的厚 你不一定要發表開創性的理論 你只要能用既有理論研究沒人研究過的現象 根據你的理論假設跑完模擬，做出實驗 且數據都能佐證你的假設，就能發期刊了3
阿肥外商碼農阿肥啦！ 這邊說一個八卦，台灣媒體比較少提到Hinton的原話，”I am flabbergasted, I had no i dea this would happen”（我目瞪口呆，我不知道這件事情竟然就發生在我身上）。 連辛頓老爺都很驚訝自己怎麼就得了一個物理學獎了，回顧往年諾貝爾物理學獎連做理論物 理都不一定可以拿到獎了，更何況神經網路雖然確實有很多理論借鑑物理學（像波茲曼機、9
說神經網路學習應該算資工的 其實是眼光只放在現今人為分科 忽視整個領域發展脈絡的淺薄評語 實際上在機器學習火熱前 資工系根本不需要懂什麼微積分、線性代數 (雖然台灣的大學大都還是規定必修) 這就說明 AI 以資工來講本身就是滿"另類"的子領域12
其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理" 而是...單就物理而言 到底夠不夠原創性或有影響力 早期的機器學習 其實分很多種不同的路線 其中有些路線是受到物理和大腦神經科學研究的直接影響 試圖由真實的神經科學出發 建立物理模型 來理解和重現大腦真正的認知過程
爆
[閒聊] 訓練了一個生成凱留頭的模型廢話不說先直接上結果 使用範例:![[閒聊] 訓練了一個生成凱留頭的模型](https://i.imgur.com/I4xNU6Ab.jpg "[閒聊] 訓練了一個生成凱留頭的模型")
78
[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]版本資訊來啦！而且這次的內容超級多！生化科技飛龍的光榮回歸、全新效果的生化科技 峽谷、3 隻可愛的全新打野夥伴、7 件全新道具、全新的隨機單中模式平衡改動，還有全 新的……現在你懂我們指的超級多是什麼意思了吧～ 歡迎來到《英雄聯盟》的 2023 季前版本！![[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]](https://cdngarenanow-a.akamaihd.net/games/lol/2022/11/LOL_12-22.jpg "[情報] 11/17《英雄聯盟》12.22 版本更新 [季前]")
43
Re: [請益] NVDA跟AMD怎麼突然崩了本來中午要去吃飯剛好看到這篇，雖然我說的內容可能大部分人也可能不太理解， 但巷子內的看到應該會覺得還是蠻怪的，當然有更多大神指點是更好的 ※ 引述《LDPC (Channel Coding)》之銘言： : 週末有點時間 之前寫的老黃故事 : 這幾年AI模型突飛猛進的一個關鍵點就是 泛化的能力![Re: [請益] NVDA跟AMD怎麼突然崩了](https://miro.medium.com/v2/resize:fit:772/1*9bgIVlCRKiL7hxgvZW0wjg.png "Re: [請益] NVDA跟AMD怎麼突然崩了")
6
Re: [討論] GPU加速Transistor層的模擬器我有把你下面推文的兩個連結看了以確定我盡量能理解你的目的。 文中你提到transistor-level與邏輯閘層(gate-level)模擬， 這兩個用詞在你的語境下所代表的意思有點模糊， 我用我的理解以及上篇crossbar的觀點來定義一下： - transistor-level:3
[問卦] 評估後,該怎麼改善這個深度學習模型?好不容易建構好幾個深度學習模型, 依照專案的安排, 把整理好的dataset拿來跑實驗, 評估模型好壞, 其中一個評估是採用ROC curve,2
Re: [黑特] AI什麼時後崩盤自從 Hinton 提出反向傳播演算法以來，人工智慧領域在過去幾十年來並沒有出現真正意義上的突破。目前的進展主要集中在透過收集更多訓練資料和建立更大的神經網路來提高模型效能。然而，這種粗放的做法並沒有觸及問題的核心，只是不斷填滿內核空間，並沒有帶來演算法層面的革新。 雖然像 CNN 和 Transformer 這樣的架構看似新穎，但實際上，如果運算能力夠強大，這些技巧也並非必要。理論上，一個兩層的無限寬神經網路就足以擬合任何複雜邊界，並且擁有無限大的模型容量。 真正的突破需要在演算法層面實現創新，而計算力只是次要因素。目前， 整個人工智慧框架都建立在統計機器學習的基礎上，這限制了我們的思維和探索。 我們局限於inference 要嘛 Frequentist ，不然就 Bayesian inference，
[討論] neuralGCM 基於神經網路的通用循環模型本篇論文一樣由google的研究發表，包含以下幾點特點 1. 相較於graphcast直接對數據擬合，此模型同時採用物理核心與神經網路，預測過程受 ODE等物理條件限制，並採用類似數值模式的時間積分型式。![[討論] neuralGCM 基於神經網路的通用循環模型](https://i.imgur.com/fiau2Afb.jpg "[討論] neuralGCM 基於神經網路的通用循環模型")
![[問卦] 評估後,該怎麼改善這個深度學習模型?](https://lh3.googleusercontent.com/FblUMIYq2NycN3CPWvxvJ348u0t81VCu62UrMNkObv_vsp1zwO2W8mOR04odG5TgHds=w1200-h630-p "[問卦] 評估後,該怎麼改善這個深度學習模型?")
爆
[爆卦] 全台綠化程度最高的人行道!![[爆卦] 全台綠化程度最高的人行道!](https://i.imgur.com/Mqtgiqrb.jpg "[爆卦] 全台綠化程度最高的人行道!")
80
[問卦] 幹你娘中國居然認為中華民國也是台獨！![[問卦] 幹你娘中國居然認為中華民國也是台獨！](https://i.imgur.com/LjDYWv8b.jpeg "[問卦] 幹你娘中國居然認為中華民國也是台獨！")
67
[問卦] 哪些姓氏或名字有貴族感？![[問卦] 哪些姓氏或名字有貴族感？](https://i.imgur.com/T8r0Qngb.png "[問卦] 哪些姓氏或名字有貴族感？")
65
[問卦] 八方雲集鍋貼什麼時後開始不行了![[問卦] 八方雲集鍋貼什麼時後開始不行了](https://i.imgur.com/56tlnSZb.jpeg "[問卦] 八方雲集鍋貼什麼時後開始不行了")
56
[問卦] 美國康乃爾大學法學博士班每年名額2個?42
Re: [新聞] 黃捷反代孕大翻車！陳昭姿電爆質詢瞎掰影片：次世代百30
Re: [新聞] 快新聞／「他去選總統了嗎？」 韓國瑜力![Re: [新聞] 快新聞／「他去選總統了嗎？」 韓國瑜力](https://static.ftnn.com.tw/www/images/share.jpg "Re: [新聞] 快新聞／「他去選總統了嗎？」 韓國瑜力")
33
[問卦] 新竹虐童Teamlift健身教練怎麼讓他破產？![[問卦] 新竹虐童Teamlift健身教練怎麼讓他破產？](https://i.imgur.com/iN5TWS9b.jpeg "[問卦] 新竹虐童Teamlift健身教練怎麼讓他破產？")
38
Re: [問卦] 新竹虐童Teamlift健身教練怎麼讓他破產？56
[問卦] 現在當公務員還吃香嗎??![[問卦] 現在當公務員還吃香嗎??](https://i.imgur.com/xT4kK3bb.png "[問卦] 現在當公務員還吃香嗎??")
31
[問卦] 為啥商家 願意用Line Pay??![[問卦] 為啥商家 願意用Line Pay??](https://i.imgur.com/gvXhHSUb.jpeg "[問卦] 為啥商家 願意用Line Pay??")
26
[問卦] 憑什麼高雄有一堆演唱會啊![[問卦] 憑什麼高雄有一堆演唱會啊](https://i.imgur.com/uXYTXaib.jpeg "[問卦] 憑什麼高雄有一堆演唱會啊")
29
[問卦] 原來是叫梁社漢不是梁杜漢喔？30
Re: [爆掛] 前地下偶像下海 o'_';o![Re: [爆掛] 前地下偶像下海 o'_';o](https://i.imgur.com/OsTIIuob.jpeg "Re: [爆掛] 前地下偶像下海 o'_';o")
29
[問卦] 新同事是美籍猶太人，該怎麼相處？28
[問卦] 如何不掉屑,吃完整盒蛋捲?![[問卦] 如何不掉屑,吃完整盒蛋捲?](https://i.imgur.com/gv26BOfb.jpeg "[問卦] 如何不掉屑,吃完整盒蛋捲?")
25
[問卦] 為什麼泰國芭堤雅這麼多老白男獨自逛街62
[問卦] 沒人發現宇宙一直找不到其他生命很可怕！![[問卦] 沒人發現宇宙一直找不到其他生命很可怕！](https://i.imgur.com/uSa4twgb.jpg "[問卦] 沒人發現宇宙一直找不到其他生命很可怕！")
33
Re: [新聞] 陳昭姿酸黃捷：代理孕母草案法條都看不懂![Re: [新聞] 陳昭姿酸黃捷：代理孕母草案法條都看不懂](https://i.imgur.com/bZDfSuDb.jpg "Re: [新聞] 陳昭姿酸黃捷：代理孕母草案法條都看不懂")
21
[問卦] 火鍋要先吃菜盤 還是肉盤 ??60
[問卦] 自助餐這樣多少合理？![[問卦] 自助餐這樣多少合理？](https://i.imgur.com/Rs5DgiKb.jpeg "[問卦] 自助餐這樣多少合理？")
17
[問卦] 耳鼻喉科醫生是不是屎缺？![[問卦] 耳鼻喉科醫生是不是屎缺？](https://i.imgur.com/zIk4sidb.jpeg "[問卦] 耳鼻喉科醫生是不是屎缺？")
6
Re: [問卦] 如果蔣介石沒有來台灣就沒有現在的發展16
[問卦] 為啥籃球員可以去夜店棒球員不行？35
[問卦] Lexus真的值得買嗎?![[問卦] Lexus真的值得買嗎?](https://img.youtube.com/vi/kjEWv1evpys/mqdefault.jpg "[問卦] Lexus真的值得買嗎?")
19
[問卦] 有沒有民進黨的八卦？![[問卦] 有沒有民進黨的八卦？](https://upload.wikimedia.org/wikipedia/en/thumb/d/d6/DPP-Taiwan.svg/1200px-DPP-Taiwan.svg.png "[問卦] 有沒有民進黨的八卦？")
64
[問卦] 40-50歲中年失業的人，怎麼辦= =..?![[問卦] 40-50歲中年失業的人，怎麼辦= =..?](https://img.youtube.com/vi/Cj5mIbd1xaI/mqdefault.jpg "[問卦] 40-50歲中年失業的人，怎麼辦= =..?")
17
[問卦] 台鐵鐵路品質到底是？17
Re: [新聞] 再逮1人！竹北狠毒健身教練放狗撕咬小姊![Re: [新聞] 再逮1人！竹北狠毒健身教練放狗撕咬小姊](https://i.imgur.com/CrDtHwAb.jpeg "Re: [新聞] 再逮1人！竹北狠毒健身教練放狗撕咬小姊")
61
Re: [新聞] 台中離譜女師課堂秀「罵黃國昌」照 「
![Re: [新聞] 黃捷反代孕大翻車！陳昭姿電爆質詢瞎掰影片：次世代百](https://i.imgur.com/rqmAfo8b.gif111.246.127.185 "Re: [新聞] 黃捷反代孕大翻車！陳昭姿電爆質詢瞎掰影片：次世代百")
![Re: [問卦] 新竹虐童Teamlift健身教練怎麼讓他破產？](https://i.imgur.com/PPthtRNb.jpeg223.143.193.144 "Re: [問卦] 新竹虐童Teamlift健身教練怎麼讓他破產？")
![Re: [新聞] 台中離譜女師課堂秀「罵黃國昌」照 「](https://i.imgur.com/rMIqGX1b.png223.138.255.235 "Re: [新聞] 台中離譜女師課堂秀「罵黃國昌」照 「")