Re: [討論] OpenAI GPT o1模型

somerabbit 09/18 11:30工作上一個ticket 用了cursor + o1 preview, 1個小

somerabbit 09/18 11:30時就做完了 答案還很完美。 令人驚艷的是它可以快

somerabbit 09/18 11:30速閱讀很多files 然後思考 並準確的給出答案

OyodoKai 09/18 11:33現在報名水電學徒還來的急嗎

zxwxz 09/18 11:34我覺得Orion 出來之後可能是agent 完整體，到時可

zxwxz 09/18 11:34能不用外掛任何寫code框架就可以搞定

ma721 09/18 11:359.9 vs 9.11

zxwxz 09/18 11:449.9 vs 9.11還有幾個r在strawberry 中都屬於token

zxwxz 09/18 11:44切割的蠢問題，不會是o1要處理的重點，覺得AI很愚

zxwxz 09/18 11:44蠢的可以繼續開心很多年

HiHiCano 09/18 11:50樂見Ai取代人類 不然每天工作好累

fallcolor 09/18 11:52讓llm出題做rl很合理，可是給reward的 label從哪來

fallcolor 09/18 11:52呢？ 如果還是需要人為prompt介入，本質上不算agi

fallcolor 09/18 11:52吧

NTHUlagka 09/18 12:02真的 未來那些system design跟軟體開發上的know ho

NTHUlagka 09/18 12:02w, gpt會也只是時間上的問題了 現在報名水電還來得

NTHUlagka 09/18 12:02及嗎 感覺SWE的生存空間要被壓縮了QQ

zxwxz 09/18 12:03新的rl已經不需人類介入，不是rlhf。你要仔細參考

zxwxz 09/18 12:03我貼的那篇才知道可能的做法，以下僅是個人猜測，

zxwxz 09/18 12:03一開始應該會先以gan為基底方法，有題目有答案但沒

zxwxz 09/18 12:03有cot，訓練時要求llm提供完整cot，然後把每步驟的

zxwxz 09/18 12:03cot都拆解成獨立證明提要求critic llm把關，如果證

zxwxz 09/18 12:03明看不懂就得要求o1往下拆解到critic llm看得懂且

zxwxz 09/18 12:03置信率要非常高。等到這步訓練有成效之後，再請出

zxwxz 09/18 12:03題o1出題給解答o1解，這時會依照既有知識堆疊出一

zxwxz 09/18 12:03個複雜的長尾問題出來讓o1自己解，進而不用再抓取

zxwxz 09/18 12:03網路大量垃圾來訓練model，資料牆問題也被攻克

zzzxxxqqq 09/18 12:229.9 vs 9.11 真的不重要.. 隨便想想都知道

zzzxxxqqq 09/18 12:23隨便想像都知道 10年後有多可怕 -.-

jeff85898 09/18 12:26http://i.imgur.com/U0QHQrr.jpg

jeff85898 09/18 12:28對模型做rl跟在prompt內加入CoT的差別是？

kunyi 09/18 12:35好喔

zxwxz 09/18 12:56在RL做COT與在PROMPT做COT有非常本質上的問題，就

zxwxz 09/18 12:56是要如何驗證COT是對的，你請gpt-4o 在複雜的數理

zxwxz 09/18 12:56問題上做COT，他常常可以回個大概，但中間有步驟錯

zxwxz 09/18 12:56了或是太含糊，根本上COT本身會有非常嚴重的幻覺問

zxwxz 09/18 12:56題，但你如果把COT拆解成一段一段讓critic llm去解

zxwxz 09/18 12:56，那中間是否有問題就很容易判定，再者有些說明跳

zxwxz 09/18 12:56太快critic llm可能無法從先驗知識解讀，那就要進

zxwxz 09/18 12:56一步請o1做問題拆分。 這單靠prompt是無法解決的，

zxwxz 09/18 12:56我猜目前o1的一次推理中的cot中每個step都是一次單

zxwxz 09/18 12:56獨的inference ，當然還要配套MTCS，不然你會很容

zxwxz 09/18 12:56易陷入長尾問題的local minimum 中

zxwxz 09/18 12:58更正 是MCTS

fallcolor 09/18 13:02也許可行吧，只是就算把cot分解critic要判斷的還是

fallcolor 09/18 13:02比alphago的critic估計勝率難很多，label品質不好

fallcolor 09/18 13:02就不容易是一種穩定的訓練方法。

zxwxz 09/18 13:08我覺得可以可以讓critic llm逐漸使用高置信率來評

zxwxz 09/18 13:08斷進而推升o1本體的能力，那每個cot可能就從對5個

zxwxz 09/18 13:08晉升到對10個，進一步推升到整個chain都是對的。所

zxwxz 09/18 13:08以o1可以不用一次inference對整串，他要確保的是在

zxwxz 09/18 13:08每一個step正確性以及前後連貫性，如此就沒有梯度

zxwxz 09/18 13:08消失的問題

qwe78971 09/18 13:11太樂觀 離AGI還遠的 三維空間問題它沒辦法處理

gogogogo333309/18 13:31AGI is clearly here. But fine … Don’t look up.

zxwxz 09/18 13:43三維空間無法解決的請看這鏈結

zxwxz 09/18 13:43 https://reurl.cc/VMmYR5

qwe78971 09/18 13:49蠻厲害的 不借助引擎完成 不過我是指real world

zxwxz 09/18 13:50這次突破的關鍵可以看這個openai關鍵員工的演講：

zxwxz 09/18 13:50https://reurl.cc/8XbDvg

aria0520 09/18 14:01stop the hype train, LLM is a dead end

aria0520 09/18 14:01don't waste time on llm, go4 lecun's world model

sdbb 09/18 14:05難得的優文，謝謝

fallcolor 09/18 14:23讀了論文，關鍵是讓小模型指導大模型是放大模型更

fallcolor 09/18 14:24好的泛化性，相當於用模型的先天表示力去補強標籤的

steak5566 09/18 14:25請問現在開始練身體可以當比較有用的生物電池嗎？

Izangel 09/18 14:25三維不就李飛飛正在做的嗎

fallcolor 09/18 14:25先驗了，好像有點道理。

fallcolor 09/18 14:27改個錯字，釋放。

lafel 09/18 15:08還有幾個月可以逃呢

tomatobus 09/18 15:16嘻嘻，結果工程師吹了半天AI取代醫生，自己的工作先

tomatobus 09/18 15:16被取代

zxwxz 09/18 15:16不用逃了，即使是完整o1都算閹割版，他們內部大概

zxwxz 09/18 15:16率已經有AGI level 4完整版在玩了，放不放出來只是

zxwxz 09/18 15:16安全性評測與性價比問題

houseguy 09/18 15:45什麼時候能發現新的微分方程有解析解的

kkithh 09/18 16:07AIME題目好像都可以用暴力硬解，用這來說AI比人厲害

kkithh 09/18 16:07，欸豆，頂多說它算得快吧

steak5566 09/18 16:21可以reasoning代表所有人類講邏輯的東西都可以取代

steak5566 09/18 16:21 大概只剩律師法官？

lantimes 09/18 16:57還好 錢 房子都存夠了

wtl 09/18 17:07所以小氣公司真的可以用AI來縮減一半的人力?

transforman 09/18 17:10瑟瑟發抖 現在考水電還來的及嗎

DrTech 09/18 17:14想太多了，目前所有測試LLM方式都是在"有標準答案"

DrTech 09/18 17:14的情況。現實工作中，明明大部分的工作都是每標準答

DrTech 09/18 17:14案，甚至看人心情的情形。

DrTech 09/18 17:18沒標準答案的工作，AI要怎麼訓練與幫助你工作。

DrTech 09/18 17:20目前的標準答案形式的AI，工廠的瑕疵檢測都解不了了

DrTech 09/18 17:20。

DrTech 09/18 17:22連最基本的電子產品生產環節，任何一個製程發生issu

DrTech 09/18 17:22e，怎麼依照現場環境來出解答(一直都難以有標準答案

DrTech 09/18 17:22)，都做不了了。

DrTech 09/18 17:27AI生成任何標準答案，是正確的沒錯，而且可能比人寫

DrTech 09/18 17:27的好，但不代表是現實工作可採用，可被接受的。

zxwxz 09/18 17:55現實不採用單純是cp值與先驗問題，這麼貴又還沒有

zxwxz 09/18 17:55人在商務上投產過，如果不能肯定創造更多價值或節

zxwxz 09/18 17:55省成本，沒有公司願意嘗試，但3年後我預估成本會比

zxwxz 09/18 17:55現在低100倍，且有實際成功案例，到時大失業潮就會

zxwxz 09/18 17:55來臨

Izangel 09/18 18:10蛋白質跟藥物合成的標準答案是什麼？笑死。怎麼總有

Izangel 09/18 18:10人把自己認為的就以為是AI的全部能力或定義？

tgyhuj01 09/18 18:15同理 所以如何證明當下人類的判斷就一定是對的？

tgyhuj01 09/18 18:19一直用AI只會照表抄課來否定 那一堆標準訂來讓人類

tgyhuj01 09/18 18:19遵循的意義又是什麼

tgyhuj01 09/18 18:21不能完全替代不代表不能部分替代

create8 09/18 18:48感謝分享! 是時候去少林寺報名廚藝班了

sdbb 09/18 18:49食神梗太老了

hansioux 09/18 20:39ARC-AGI 先對 85% 我再來擔心

utn875 09/18 20:45感謝解說

AddListener 09/18 20:54以下是 ARC-AGI 的測評 https://reurl.cc/4dbO0V

create8 09/18 20:57只要有心，人人都可以是食神!! (振奮

sdbb 09/18 21:00一切都是幻覺(AI也有)，嚇不倒我的

spen2005 09/18 21:08Aime又不難 要說的話 deepmind還更強

alvinlin 09/18 21:26總是有需要人的地方。只是會有中空期。

likeyousmile09/18 22:55推

kiedveian 09/18 23:03有人說到token切割不屬於它的問題，那是不是代表

kiedveian 09/18 23:04就算發展的再強，也會因為token切錯出大問題？

zxwxz 09/18 23:14token切割單純是要節省算力，之後只要agent 掛上程

zxwxz 09/18 23:14式工具，這些都是小問題

rnoro 09/18 23:26openai的報告真叫人唏噓，現在連一行方程式都看不到

rnoro 09/18 23:27了，要嘛實在太小氣，要嘛沒有數學上的新東西

rnoro 09/18 23:27不管是哪個都讓人失望。。。

gsinin 09/19 00:58意識到嚴重性所以呢？你那邊還來得及買便宜的台積電

gsinin 09/19 00:58快買

strlen 09/19 01:24就是沒有標準答案才要靠AI啊 到底在說什麼啊

strlen 09/19 01:24去想想當人類碰到沒有標準答案的問題 是怎麼處理的

strlen 09/19 01:25很簡單 試阿 這裡試試 那裡試試 試到有一次打中問題

strlen 09/19 01:25點了就解了 哪一個沒標準答案的問題不是這種解法？

strlen 09/19 01:26那試東西 機器絕對比人類快一百萬倍吧

kissa092430709/19 01:51天網的原型？

hduek153 09/19 07:26好期待人類被取代的那一天 十年內有機會嗎

chauan 09/19 08:44人是拿來負責任用的

darkangel11909/19 10:28人類是拿來當電池 ~~

jamesho8743 09/19 13:57數學方面我覺得到最後不需要人來label AI是可以左

jamesho8743 09/19 13:57右互搏來比較認證