輝達發布機械人基礎模型 GR00T 2 看人類影片學做精細動作

輝達 11 月 9 日在德州奧斯汀舉行的機械人學習會議上發布機械人基礎模型 GR00T 2,能從人類第一身影片中學習精細操作,並把技能轉移到不同機械人身上;50 項測試中,看過五次示範後平均成功率達 95%,但該數字來自輝達自家評估、任務經過篩選。
輝達(NVIDIA)11 月 9 日在德州奧斯汀舉行的機械人學習會議(CoRL)上發布新一代機械人基礎模型 GR00T 2,主打「看人類影片學做事」:模型以人類第一身影片為主要訓練材料,學習精細操作動作,再把技能轉移到不同形態的機械人身上。輝達同時發布 GR00T 2 Turbo 精簡版,以及機械人訓練框架 Isaac Lab 3.0。
同時預測畫面與動作 先看懂再動手
GR00T 2 是輝達所謂的「世界動作模型」(world action model),建基於 Cosmos 世界模型系列,以一部 20 億參數的擴散 Transformer,同時預測場景接下來的變化,以及機械人應該採取的動作。輸入包括近期影片、任務指令及機械人當前狀態。輝達稱,這種設計讓模型先理解任務的物理過程,再決定如何動手,而非只模仿動作軌跡。
40 萬小時人類影片訓練 五次示範後成功率 95%
訓練數據方面,輝達公布的混合比例包括 402,730 小時第一身人類影片、10,184 小時手持夾爪示範,以及 23,500 小時機械人遙控操作數據;其中 10 萬小時人類影片以 Human-1M-100K 數據集名義公開,以 CC BY 4.0 授權釋出。輝達亦用「X-Adapt」跨形態遷移技術,把在某種機械人或人類身上學到的技能轉移到另一種機械人,包括夾爪機械臂、靈巧手及 Unitree G1 人形機械人。
在 50 項靈巧操作測試(Dexter-50,目標機械人為配備兩隻 22 自由度 Sharpa 靈巧手的雙臂機械人)中,GR00T 2 在完全沒有針對該機械人的示範下平均成功率為 40%,50 項中有 40 項至少成功一次;看過一次示範後升至 71%,五次示範並經 30 分鐘微調(單張 RTX 5090 顯卡)後達 95%。
95% 數字要打折扣 模型代碼 12 月才公開
必須注意的是,95% 並非實地可靠性數字:輝達白皮書披露,50 項測試任務是從「看過五次示範後能學會(成功率至少 80%)」的任務中挑選出來的,數字本身帶有篩選條件;所有成績均為輝達自家評估,尚未有獨立複核。富士康、Siemens 及 Nexuni 等合作方目前只處於測試或評估階段。
「開放」的程度亦有限:10 萬小時數據集確已公開,但模型本身的代碼要到 12 月才提供,權重發布日期與授權條款至今未公布;Isaac Lab 3.0 則已正式推出。來源:輝達官方博客、輝達研究頁面、The Robot Report,2026 年 11 月 9 日;The Neuron、alfw.ai,2026 年 11 月 10 日。
N環球 
💬 留言
暫時還沒有留言,來搶沙發!