PTT評價

[討論] 為何機器人AI不透過強化式學習訓練?

看板Tech_Job標題[討論] 為何機器人AI不透過強化式學習訓練?作者
seal46825
(Vanish)
時間推噓 8 推:8 噓:0 →:60

剛剛看了YouTube 介紹特斯拉Optimus的影片
裡面提到特斯拉裡面有50位人員
專門用VR裝置去操控Optimus
去執行某修動作 例如分類物品
然後就可以透過這些動作訓練模型

但是跟特斯拉成千上萬個車子數據比起來
這只能算是小巫見大巫
那我就好奇 為什麼機器人不透過強化式學習的方式去訓練
如同訓練AI玩遊戲一樣
可以給個很明確的計分方式
然後讓AI自己去玩遊戲
只要規則夠明確 AI自己就可以訓練練到很強

同樣道理 我讓一顆球放在一個發射平台
會自動彈出 然後球上有晶片
只要機器人可以在越短的時間去把球撿回來
他就可以得到高分
如此一來他就可以去學習如何快速辨識球的位置
如何規劃路線 如何最佳應用他的身體
然後快速把球撿起來 放回發射平台

這樣作法的好處是可以做出成千上萬台機器人
讓他們自己去訓練 一年365天24小不停歇
這樣就能產生大量數據 快速精進機器人AI模型

同樣的模式還可以特用的很多事情上
所以為何現在的機器人公司不這樣做
要用真的人去訓練搜集數據呢?
還是其實有在做了?
-----
Sent from JPTT on my iPhone

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.92.120 (臺灣)
PTT 網址

drkkimo 10/17 00:03你怎麼知道沒有人作這個?

原來已經有了嗎?

HaHaPoint 10/17 00:04因為不把真人互動加進訓練的話 你會訓練出殺人機器

如果任務能成功達成 好像也不失為一個方法? 只是任務怎麼定義就很重要

HaHaPoint 10/17 00:04或是大法師那樣走路的機器人 因為那樣比較有效率

※ 編輯: seal46825 (123.192.92.120 臺灣), 10/17/2024 00:05:46 ※ 編輯: seal46825 (123.192.92.120 臺灣), 10/17/2024 00:06:44

DrTech 10/17 00:22這在機器手臂取物都做到爛的事情…

peter335415210/17 00:25上網搜尋robotic deep reinforcement learning 應

peter335415210/17 00:25該會有一堆paper

DrTech 10/17 00:26另外,RL 訓練實體動作極差,成本極高。通常都是先

DrTech 10/17 00:26建立模擬環境,跟本不是你文中的直接physical去碰撞

DrTech 10/17 00:26訓練。

DrTech 10/17 00:28你這些說法根本就是外行,連訓練成本,效率,都不考

DrTech 10/17 00:28慮。訓練一個動作,RL隨意碰撞,機器人先壞100台,

DrTech 10/17 00:28外行人傻了才這樣想。

seal46825 10/17 00:32我的確是外行 對AI好奇整天亂看而已 問題是如果要叫

seal46825 10/17 00:32幾千萬個真人去搜集數據 成本不會比較低啊 除非可以

seal46825 10/17 00:32跟特斯拉車子一樣發展出可以讓人去操控機器人的商業

seal46825 10/17 00:32模式

seal46825 10/17 00:33用第一性原理去思考 這個沒道理做不到 我認為馬斯克

seal46825 10/17 00:33肯定也有想過 至於為什麼我們沒看到有兩個原因 一個

seal46825 10/17 00:34是其實有做 但我們不知道 第二個是其實有什麼大瓶頸

seal46825 10/17 00:34在 這就是我好奇的地方

kevin0210 10/17 00:50這個問題我覺得蠻優的

chang1248w 10/17 01:00它們是先在模擬環境練了幾萬年才放出來現實世界的

mrsix 10/17 01:01畢竟是泛用型的人形機器人,日後可能會用於長照或

chang1248w 10/17 01:01現在在做的是類似GPT一樣透過人類行為微調

mrsix 10/17 01:01托兒,這種與人類互動的行為得由人類親自教導,而

mrsix 10/17 01:01不是機器自己訓練自己。

mrsix 10/17 01:02有樣東西叫人因工程

chang1248w 10/17 01:02請工人一來不划算,二來把工人的行為轉換成機器人

chang1248w 10/17 01:02能用的數據太貴了

mrsix 10/17 01:03而且特斯拉機器人現在應該還不敢做跑步之類的快速

mrsix 10/17 01:03動作,撞到人蠻糟糕的。

chang1248w 10/17 01:03一個機器人是數十個關節的馬達還有感知器在協同,

chang1248w 10/17 01:03只有人類操作工具的影像根本不夠

chang1248w 10/17 01:05模擬環境裡應該能做到跑,只是現實與模擬的誤差還

chang1248w 10/17 01:05沒調教過來

mrsix 10/17 01:05應該不是影像,而是透過遠端遙控的方式訓練

yunf 10/17 01:07全部都給你說完了他要賺什麼

mrsix 10/17 01:07黃仁勳來台灣那個發表會不是提到Omniverse之類的孿

mrsix 10/17 01:07生模型來訓練機器人

yunf 10/17 01:08他就是要像m$一樣慢慢地滲透到你國家的每一個角落然

yunf 10/17 01:08後再更新收費

yunf 10/17 01:08一下就到達完全體 馬上就被抄走了

wwewcwwwf 10/17 01:20有阿 記得所羅門 吹邊緣學習3年了 不知學到哪了

aria0520 10/17 01:26lecun提的世界模型路線可以了解一下

yunf 10/17 01:29台灣公司就不用看了連日本都打不贏

yunf 10/17 01:30不然就是才剛有創新的時候就被買走

yunf 10/17 01:42不要說機器人能長照好嘛笑死人了

yunf 10/17 01:43沒照顧過老人的才會嘴砲說機器人長照

yunf 10/17 01:43如果是這樣的話東協那些都不用發展了

yunf 10/17 01:43專心訓練ai就好

DarkIllusion10/17 01:54用RL做機器人策略有獎勵稀疏、sim2real gap問題,有

DarkIllusion10/17 01:54人類展示當訓練資料是最好的

yunf 10/17 02:03你講的這個二十年後做不做的出來還是個問題

yunf 10/17 02:04更何況要能用得起

yunf 10/17 02:05現在玩的都還是剛草創而已

yunf 10/17 02:05電力就不夠了

yunf 10/17 02:05其實這也都是個騙局

yunf 10/17 02:05要夠不夠都取決於他要怎麼用

yunf 10/17 02:06經濟部也只能瞎找電

yunf 10/17 02:07真的管制誰在用演算法的那個人才是關鍵

yunf 10/17 02:09你們要想想在這個賽局最後

yunf 10/17 02:09投入那麼多

yunf 10/17 02:10你能否真的完全擁有一個堪用的機器人?

yunf 10/17 02:10還是又是幫人養老婆?

yunf 10/17 02:11這些資料庫雲端都不是台灣本身的技術台灣都是搞些

yunf 10/17 02:11有名無實的代工

Zepho 10/17 03:44例如球發射後卡在天花板 照你說的訓練 機器人永遠

Zepho 10/17 03:44不可能找到方法把球拿下來