新聞 > 科教 > 正文

刷屏全網!斯坦福做飯機械人的滿漢全席

—斯坦福做飯機械人 華人學霸開發 能做滿漢全席

今天,會做一大桌子菜的斯坦福機械人Mobile ALOHA刷屏全網。 滑蛋蝦仁、乾貝燒雞、蚝油生菜,色香味俱全,看着很誘人。

材料價格一覽有興趣的小夥伴可以查看他們的官方文檔:https://docs.google.com/document/d/1_3yhWjodSNNYlpxkRCPIlvIAaQ76Nqk2wsqhnEVM6Dc/edit

硬件得到了,接下來便是使用數據進行協同訓練。論文中,研究人員使用一個協同訓練管道,利用現有的靜態ALOHA數據集,以改善模仿學習在移動操作,特別是雙手臂操作的性能。靜態ALOHA數據集總共有825個演示任務,包括密封袋子、拿起叉子、包裝糖果、撕紙巾、打開帶蓋塑料杯、玩乒乓球、使用咖啡機、翻轉鉛筆、固定魔術貼電纜、裝上電池和操作螺絲刀。然後,研究人員選擇了7個任務,讓Mobile ALOHA去完成。對於機械人需要清理灑在桌子上紅酒的任務,需要機動性和雙手靈活性。具體來說,機械人需要首先導航到水龍頭,拿起毛巾,然後導航回到桌子。然後一隻手臂舉起酒杯,另一隻手臂需要用毛巾擦拭桌子和杯底。這個任務在靜態ALOHA中是不可能完成的,單臂移動機械人需要更多的時間來完成。

對於炒蝦仁來說,機械人需要將一個生蝦兩面煎熟,然後把它放進碗裏。機動性和雙手靈活性也是這項任務的必要條件:機械人需要從灶台移動到廚房台,用鏟子翻動蝦仁,而另一隻手臂還需傾斜平底鍋。這項任務要求比擦酒精度更高,因為翻轉半熟的蝦需要更高的精度。

同樣,對於清洗平底鍋、收納鍋、乘坐電梯、推椅子、擊掌的任務,Mobile ALOHA也能熟練地完成。

下圖是機械人在執行任務時的導航移動軌跡。

實驗評估中,研究人員主要為了回答兩個核心問題:

(1)通過協同訓練和少量移動操作數據,Mobile ALOHA能否掌握複雜的移動操作技能?(2)Mobile ALOHA能否使用不同類型的模仿學習方法,包括ACT、擴散策略和基於檢索的VINN?研究發現,協同訓練可以提高ACT性能。在7項具有挑戰性的移動操作任務中,與靜態ALOHA數據集進行協同訓練可持續提高ACT的成功率。這對於乘電梯時需要按鍵、清洗鍋時需要打開水龍頭,等子任務尤為重要,因為在這些任務中,精確操作是瓶頸所在。

另外,Mobile ALOHA與「模仿學習」方法兼容。帶分塊的VINN、擴散策略和ACT在Mobile ALOHA上都取得了良好的性能,並且受益於與靜態ALOHA的協同訓練。

協同訓練針對不同數據組合,其表現也是非常穩健。如下是使用ACT進行擦拭酒的任務訓練後的成功率。

協同訓練和預訓練效果對比如下。協同訓練在擦拭酒的任務中的表現,成功率95%,大大優於預訓練的成功率40%。

另外,用戶使用Mobile ALOHA遠程操控未見過的任務時,可以迅速接近專家級速度。

總而言之,僅用32000美元的預算,通過靜態ALOHA數據協同訓練的模仿學習,Mobile ALOHA只需要20-50個演示就能學會各種複雜的任務。斯坦福Mobile ALOHA向所有人展示了機械人在各種應用場景的潛力,甚至機械人開源實現了人人可復刻。網友表示,機械人學是一門既需要硬件又需要算法的系統研究。我猜在2024年,我們將在現實世界中看到越來越多的機械人。

Zipeng Fu(項目共同負責人)

Zipeng Fu是史丹福大學AI實驗室的計算機科學博士生,導師是Chelsea Finn。同時也在Google DeepMind擔任學生研究員,與Jie Tan合作。此前,他在卡內基梅隆大學(CMU)攻讀機器學習領域的碩士學位,並在機械人學院(Robotics Institute)擔任學生研究員,導師是Deepak Pathak和Jitendra Malik。他在加州大學洛杉磯分校(UCLA)獲得了計算機科學與應用數學的學士學位,導師是Song-Chun Zhu。他的研究興趣集中在機械人學、機器學習和計算機視覺的交匯處。並致力於研究在複雜多變的開放世界中實現穩定性能和可實際部署的機械人系統。他的研究得到斯坦福研究生獎學金的支持,並且還是Pierre和Christine Lamond獎學金的獲得者。Tony Z. Zhao(項目共同負責人)

Tony Z. Zhao是史丹福大學的計算機科學博士生,導師是Chelsea Finn。同時也在Google DeepMind擔任兼職研究助理。在此之前,他於2021年在加州大學伯克利分校(UCB)獲得了電子與計算機科學(EECS)學士學位,導師是Sergey Levine和Dan Klein。並曾在特斯拉Autopilot和谷歌X Intrinsic實習。他的目標是使機械人能夠完成複雜而精細的操控任務。Chelsea Finn

Chelsea Finn是史丹福大學計算機科學與電氣工程的助理教授。研究興趣是機械人及其他智能體能夠通過學習和互動來展現出的智能行為。她的實驗室IRIS致力於通過大規模的機械人互動研究智能,並且是SAIL和ML Group的合作實驗室。同時,她也在Google Brain團隊擔任研究工作。此前,她在加州大學伯克利分校(UCB)獲得了計算機科學博士學位,並在麻省理工學院(MIT)取得了電氣工程與計算機科學的學士學位。

責任編輯: 方尋  來源:新智元 轉載請註明作者、出處並保持完整。

本文網址:https://hk.aboluowang.com/2024/0106/2000343.html