斯坦福的 ALOHA 家務(wù)機(jī)器人團(tuán)隊(duì),發(fā)布了最新研究成果 ——
項(xiàng)目名為 Yell At Your Robot(簡稱 YAY),有了它,機(jī)器人的“翻車”動(dòng)作,只要喊句話就能糾正了!
而且機(jī)器人可以隨著人類的喊話動(dòng)態(tài)提升動(dòng)作水平、即時(shí)調(diào)整策略,并根據(jù)反饋持續(xù)自我改進(jìn)。
比如在這個(gè)場景中,機(jī)器人沒能完成系統(tǒng)設(shè)定的“把海綿放入袋子”的任務(wù)。
這時(shí)研究者直接朝它喊話,“用海綿把袋子撐得再開一些”,之后就一下子成功了。
而且,這些糾正的指令還會(huì)被系統(tǒng)記錄下來,成為訓(xùn)練數(shù)據(jù),用于進(jìn)一步提高機(jī)器人的后續(xù)表現(xiàn)。
有網(wǎng)友看了說,既然已經(jīng)能朝著機(jī)器人喊話了,那汽車是不是也快點(diǎn)安排上,還在線點(diǎn)名特斯拉和其自動(dòng)駕駛軟件總監(jiān) Ashok Elluswamy。
成果發(fā)布后,前谷歌機(jī)器人高級(jí)研究員 Eric Jang,前 DeepMind 研究員、斯坦福客座教授 Karol Hausman 等一眾大佬也紛紛表示了肯定和贊許。
那么,用喊話調(diào)整的機(jī)器人,都能實(shí)現(xiàn)什么樣的動(dòng)作呢?
喊話就能發(fā)號(hào)施令
利用 YAY 技術(shù)調(diào)教后,機(jī)器人以更高的成功率挑戰(zhàn)了物品裝袋、水果混合和洗盤子這三項(xiàng)復(fù)雜任務(wù)。
這三種任務(wù)的特點(diǎn)是都需要兩只手分別完成不同的動(dòng)作,其中一只手要穩(wěn)定地拿住容器并根據(jù)需要調(diào)整姿態(tài),另一只手則需要準(zhǔn)確定位目標(biāo)位置并完成指令,而且過程中還涉及海綿這種軟性物體,拿捏的力度也是一門學(xué)問。
以打包裝袋這個(gè)任務(wù)為例,機(jī)器人在全自主執(zhí)行的過程中會(huì)遇到各種各樣的困難,但通過喊話就能見招拆招。
只見機(jī)器人在將裝袋的過程中不小心把海綿掉落了下來,然后便無法再次撿起。
這時(shí),開發(fā)者直接朝它喊話,口令就是簡單的“往我這邊挪一挪,然后往左”。
當(dāng)按照指令做出動(dòng)作后,第一次還是沒成功,但機(jī)器人記住了“往左”這個(gè)指令,再次左移之后便成功把海綿撿起來了。
但緊接著就出現(xiàn)了新的困難 —— 袋子的口被卡住了。
這時(shí)只要告訴它再把袋子打開一點(diǎn)點(diǎn),機(jī)器人就“心領(lǐng)神會(huì)”,調(diào)整出了一系列后續(xù)動(dòng)作,并最終成功完成任務(wù)。
而且不只是能糾正錯(cuò)誤,任務(wù)的細(xì)節(jié)也能通過喊話實(shí)時(shí)調(diào)整,比如在裝糖的任務(wù)中,開發(fā)者覺得機(jī)器人拿的糖有點(diǎn)多了,只要喊出“少一點(diǎn)”,機(jī)器人就會(huì)將一部分糖果倒回盒子。
進(jìn)一步地,人類發(fā)出的這些指令還會(huì)被系統(tǒng)記錄并用作微調(diào),以提高機(jī)器人的后續(xù)表現(xiàn)。
比如在刷盤子這項(xiàng)任務(wù)中,經(jīng)過微調(diào)之后的機(jī)器人清潔力度更強(qiáng),范圍也變大了。
統(tǒng)計(jì)數(shù)據(jù)表明,機(jī)器人在經(jīng)歷這種微調(diào)之后,平均任務(wù)成功率提高了 20%,如果繼續(xù)加入喊話指令還能繼續(xù)提高。
而且這樣的指令-微調(diào)過程可以迭代進(jìn)行,每迭代一次機(jī)器人的表現(xiàn)都能有所提升。
那么,YAY 具體是如何實(shí)現(xiàn)的呢?
人類教誨“銘記在心”
架構(gòu)上,整個(gè) YAY 系統(tǒng)主要由高級(jí)策略和低級(jí)策略這兩個(gè)部分組成。
其中高級(jí)策略負(fù)責(zé)生成指導(dǎo)低級(jí)策略的語言指令,低級(jí)策略則用于執(zhí)行具體動(dòng)作。
具體來說,高級(jí)策略將攝像頭捕捉到的視覺信息編碼,與相關(guān)知識(shí)結(jié)合,然后由 Transformer 生成包含當(dāng)前動(dòng)作描述、未來動(dòng)作預(yù)測等內(nèi)容的指令。
而低級(jí)策略接收到語言指令后,會(huì)解析這些指令中的關(guān)鍵詞,并映射到機(jī)器人關(guān)節(jié)的目標(biāo)位置或運(yùn)動(dòng)軌跡。
同時(shí),YAY 系統(tǒng)引入了實(shí)時(shí)的語言糾正機(jī)制,人類的口頭命令優(yōu)先級(jí)最高 —— 經(jīng)識(shí)別后,直接傳遞給低級(jí)策略用于執(zhí)行。
且在這個(gè)過程中命令會(huì)被系統(tǒng)記錄并用于微調(diào)高級(jí)策略 —— 通過學(xué)習(xí)人類提供的糾正性反饋,逐漸減少對(duì)即時(shí)口頭糾正的依賴,從而提高長期任務(wù)的自主成功率。
在完成基礎(chǔ)訓(xùn)練并已經(jīng)在真實(shí)環(huán)境中部署后,系統(tǒng)仍然可以繼續(xù)收集指令信息,不斷地從反饋中學(xué)習(xí)并進(jìn)行自我改進(jìn)。
作者簡介
本項(xiàng)目的第一作者是斯坦福大學(xué)的學(xué)生研究員 Lucy X. Shi,2019 年畢業(yè)于人大附中后進(jìn)入南加州大學(xué)就讀計(jì)算機(jī)科學(xué)專業(yè)。
其間,Lucy 曾到英偉達(dá)實(shí)習(xí)研究多模態(tài)大模型,并曾與知名 AI 學(xué)者 Jim Fan 博士合作。
她的論文曾連續(xù)兩年被機(jī)器人頂會(huì) CoRL 收錄,還入選過 NeurIPS,本人還被 DeepMind 邀請(qǐng)發(fā)表過演講。
Lucy 的導(dǎo)師 Chelsea Finn 是斯坦福計(jì)算機(jī)科學(xué)和電氣工程系助理教授,谷歌學(xué)術(shù)論文引用數(shù)超 4.7 萬,此前還在 Google Brain 工作過一段時(shí)間。
包括本項(xiàng)目在內(nèi),在 ALOHA 團(tuán)隊(duì)發(fā)表的一系列論文當(dāng)中,F(xiàn)inn 總是作為通訊作者出現(xiàn)。
此外,ALOHA 團(tuán)隊(duì)的 Tony Z. Zhao、Sergey Levine 等研究人員,也是本文的共同作者。
論文地址:
https://arxiv.org/abs/2403.12910
本文來自微信公眾號(hào):量子位 (ID:QbitAI),作者:克雷西
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。