Re: [新聞] 輝達CMU新研究！機器人跳APT舞驚豔全

zxwxz大大講得很好 再講細節之前 想像一下 人類要下個指令給機器人

比方說 請打開門 去客廳拿杯水 傳統機器人是幹不到的
因為機器人 不知道打開門這動作是啥 客廳在哪 拿杯水是啥動作 杯子是啥
所以唯一的辦法就是 去產生數據集 訓練動作 搭配這句指令 但缺點就是不scalable
就是如果人類指令不在數據裡面 那機器人就不知道該怎樣做

這篇最大意義就是 先把所有動作都學會透過影片 而影片跟文字的關係
在多模態LLM已經做完了 比方說clip 可以學到 請打開門這文字對應到影片的資訊
(text embedding & image embedding similiarity)
而該動作的影片的資訊 透過這篇 去調教機器人 機器人就會理解 打開門是怎樣動做

而這篇也提到 機器人骨架 手指關節數量 長度 都跟人類不同 如何把一個2d影片動作
內化能學習投射到機器人再不用標籤數據下(motion retargetin) 就能在現實姿態平衡
而不是鸚鵡一樣學習動作 但卻無法平衡物體 所以這篇裏面有個delta校正

換言之 你家的機器人 以後隨便講一句話指令 他能自己理解 然後去產生動作
最大意義就是 將來 文字上的概念和機器人實體動作 可以無縫連起來 不用在透過傳統
一個個數據和場景 手把手教 機器人能像LLM 產生動作 只要你給他一句話

這也可視為一種多模態(motion info /text data)產生的 結合 這是一個重大里程碑啊

=_= 這邊越來越像ai版

※ 引述《zxwxz (zxwxz)》之銘言：
: 這階段是機器人的pre-training階段，類似大語言模型要去網路爬蟲把人類所有語言都爬
: 來做預訓練，老黃這招就是要把所有的人類動作影片全部映射會機器人身上，不然根本沒
: 機器人的動作可當數據集，到時影片上所有人類可做的動作都會被所有機器人學起來，單
: 指令到單一動作就可以串起來了，大概是走路，開門，握手，揮手，到非常基本的獨立單
: 動作，但光這件事就很重要，機器人要在預訓練階段就知道所有動作要如何保持身體平衡
: 要如何避免碰撞，要如何做觸碰反饋調整，就像成人走路不會需要思考怎樣走才不會摔倒
: 要學到肌肉記憶等級的基本行為技能，重點不是仿照動作而已，而是這些模仿的機器人不
: 摔倒，有達到動態自主平衡機制
: 最終如果要叫機器人自己打掃房間，還是要非常強的推理大腦才有辦法自主做事，但嫁接
: 理模型上去應該不是太難的事，只是端側算力還要好幾個量級上去才行。
: 但今年機器人的發展，可能就有波小高潮，因為工廠打工的機器工人可以只做單一指令高
: 複動作，就能上產線了，比家戶使用情境會簡單超多，只要能動態學習視覺到行為的復刻
: 那上產線是很快的事
: ※ 引述 《LDPC (Channel Coding)》 之銘言：
: : 標題: Re: [新聞] 輝達CMU新研究！機器人跳APT舞驚豔全網
: : 時間: Thu Feb 6 01:19:38 2025
: : 　
: : https://hao.cnyes.com/post/133793
: : 　
: : 這機器人就是一個里程碑 (參照#1dZhKNT2 motion retarget和虛擬世界訓練)
: : (詳細訓練過程 參照上面連結Fig 2)
: : 之前機器人各路玩家的夢想就是 把人類影片所有動作去教他給機器人
: : 概念就是 把影片直接扔進去 受益於poset estimation 可以把人類動作拆解成
: : 骨架 接者用motion retarget 在虛擬世界去做校正 最後部署到現實世界
: : 　
: : 這個最重要點就是 以後機器人看個影片 就可以學會人類動作 搭配LLM Gen AI之後更?
: : 創造動作 我們家的多拉a夢快要出來了 @@/
: : 　
: : 股點? @n@ 就是老黃RRRRRRR
: : 　
: : 　
: : ※ 引述《randy225 (資方打手)》之銘言：
: : : 原文標題：輝達CMU新研究！機器人跳APT舞驚豔全網 「人形機器人」奧運會2030年?
: 期
: : : ※請勿刪減原文標題
: : : 原文連結：https://news.cnyes.com/news/id/5851739
: : : https://hao.cnyes.com/post/133793 (機器人動作)
: : : ※網址超過一行過長請用縮網址工具
: : : 發布時間：2025-02-05 17:30
: : : ※請以原文網頁/報紙之發布時間為準
: : : 記者署名：鉅亨網編譯陳韋廷 綜合報導
: : : ※原文無記載者得留空
: : : 原文內容：
: : : 機器人版的柯比布萊恩 (Kobe Bryant)、詹皇(LeBron James)、C 羅 Cristiano
: : : Ronaldo 真的來了，而這一切全拜卡內基美隆大學(CMU) 和輝達(NVDA-US) 所提出的
: 個
: : : real2sim2real 模型 Aligning Simulation and Real Physics(ASAP)，ASAP 能讓?
: 形
: : : 機器人掌握非常流暢且動感的全身控制動作，就連跳時下最紅的 APT 也相當流暢。
: : : 中國智能資訊社交平台《新智元》報導，市場可以期待在 2030 年看到人形機器人奧
: 會
: : : 盛宴，CMU 與輝達提出的 ASAP 專案包含預訓練和後訓練兩大階段。在第一個階段中
: 透
: : : 過重定向的人體數據，在模擬環境中預訓練運動追蹤策略，第二階段將這些策略部署
: 現
: : : 實世界，並收集真實數據來訓練一個「殘差」動作模型，用來彌補模型與真實世界物
: 動
: : : 態之間的差距。
: : : 然後，ASAP 把這個 delta 動作模型整合到模擬器中，對預訓練策略進行微調，讓它
: 現
: : : 實世界的動力學更匹配。具體步驟分為四步，分別是運動跟蹤預訓練與真實軌跡收集
: 差
: : : 異動作模型訓練、策略微調以及真實世界部署。
: : : 研究人員在三個遷移場景中評估了 ASAP 的效果。從 IsaacGym 到 IsaacSim、從: : : IsaacGym 到 Genesis，以及從 IsaacGym 到真實世界，使用的機器人則是中國廠商
: 樹
: : : 的 G1 人形機器人。
: : : 最後，研究者藉助 delta 動作模型對預訓練的策略進行微調，使其能夠更好地適應?
: 實
: : : 世界的物理環境，從而實現更穩定、敏捷的運動控制。
: : : sim2real 一直是實現空間與具身智慧的主要路徑之一，被廣泛應用在機器人模擬評?
: 當
: : : 中，而 real2sim2real 直接打破了繁瑣的動作微調的難題，彌合 sim2real 的差距?
: 讓
: : : 機器人能夠模仿各種類人的動作。
: : : 輝達資深研究科學家 Jim Fan 興奮地表示，透過 RL 讓人形機器人成功模仿 C 羅、
: 皇
: : : 和科比！
: : : 報導指出，CMU 跟輝達的研究有四大貢獻。第一個是提出 ASAP 框架，運用強化學習
: 真
: : : 實世界的數據來訓練 delta 動作模型，有效縮小了模擬與現實之間的差距。其次，?
: 功
: : : 在真實環境部署全身控制策略，實現了不少以前人形機器人難以做到的動作。
: : : 第三大貢獻則是 ASAP 能有效減少動力學不匹配問題，讓機器人做出高度敏捷的動作
: 同
: : : 時顯著降低運動跟蹤誤差。最後，研究者開發並開源了一個多模擬器訓練與評估代碼
: ，
: : : 以促進不同模擬器之間的平滑遷移，並加快後續研究。
: : : 心得/評論：老黃在中國跳APT，而輝達與CMU開發的軟體讓機器人動作更靈活
: : : 看完上面網址的影片，真的超驚嘆，機器人的動作會進步到什麼地步??
: : : 動作逼真到很扯，未來機器人陪你運動XD
: : : ※必需填寫滿30正體中文字，無意義者板規處分
: : 　
: : --
: : ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國)
: : ※ 文章網址: https://www.ptt.cc/Stock/E.isUKtJowK7Dg
: : ※ 編輯: LDPC (76.21.72.78 美國), 02/06/2025 01:20:26
: : → saisai34 : 我有一個大膽的想法 @v@a 02/06 01:
: : 推 pansquarl : 樓上不要說丟AV女優動作讓AI學 >w< 02/06 01:
: : 推 lpmybig : 機器人拉拉隊快可以搞出來了 02/06 01:
: : → s90002442 : 底特律變人要成真啦 02/06 01:
: : → ASKA : 男下AI上嗎？ 02/06 01:
: : 推 v21638245 : 這是動作版的初音嗎 02/06 01:
: : → aloness : 其實這沒有很難耶 0.0 人體動作捕捉已經很成熟，是 02/06 01:
: : → aloness : 難在機器人本身的硬體加工 02/06 01:
: : → aloness : bio的里昂，克里斯，吉兒的動作建模，算是很流暢了 02/06 01:
: : 推 Murasaki0110: BD放到現在像個玩具 02/06 01:
: : 推 dayuer : 硬體靠AI自我迭代就能完成精密組設計和組裝了，以 02/06 01:
: : → dayuer : 後機器人足球賽可以每球都倒掛金鉤踢球精準踢往球 02/06 01:
: : → dayuer : 門方向。但守門機器人一樣能精準接球，演變成矛盾 02/06 01:
: : → dayuer : 問題。 02/06 01:
: : → dayuer : #精密組件 02/06 01:
: : 噓 qwe78971 : 所以說外行幻想就是如此簡單 目前只看出來關節活動 02/06 01:
: : → qwe78971 : 機器人運動ok 而已 又不是互動 知道差異在哪嗎 02/06 01:
: : 蛙 內行出來了 迪士尼無法解決2d影片到 機器人尺寸不同retarget 說簡單 真是棒棒?
: : → speedythief : 看的到44超音速魔球的日子不遠了 02/06 01:
: : ※ 編輯: LDPC (76.21.72.78 美國), 02/06/2025 01:57:54
: : → TsmcEE : altas弱了 哭哭 02/06 01:
: : 推 Galbygene : @n@ 是啥 02/06 01:

--