設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

與人類貼身熱舞:人形機器人進階到街頭耍寶,6 華人組團出品

量子位 2024/2/28 12:45:36 責編:清源

注意看,小帥一個轉身,衛(wèi)衣帽子里面居然 空 無 一 頭

好啦,這不是驚悚恐怖片,而是來自 UCSD(加州大學圣地亞哥分校)全華人團隊的最新研究成果。

他們提出一種特別的全身控制策略(ExBody),能對人形機器人進行全身控制。策略主要訓練人形機器人上半身,下半身則專注于負責維持穩(wěn)定。

這樣訓練出來的人形機器人,能實現(xiàn)穩(wěn)健的運動和動態(tài)運動跟蹤。簡而言之,會的活多,表現(xiàn)力還強

比如和人類邊貼貼邊跳舞,增進增進人形機器人和人類之間的感情:

穿著熒光小馬甲,就能立刻上崗街頭指揮人車交通:

研究論文資料顯示,這個研究團隊共 6 人,其中過半是 UCSD 的在讀博士生。

為什么要對人形機器人做這樣的訓練呢?論文共同一作 Xuxin Cheng 在推特上賣力宣傳的同時,做出了解釋。

機器人總是被要求化身各行各業(yè)的打工人!我們就想跟它一起探索另一條方向的路~

當人形機器人“富有表現(xiàn)力”

團隊的這項研究名為《Expressive Whole-Body Control for Humanoid Robots》,研究目標是讓人形機器人在現(xiàn)實世界中產生豐富、多樣和富有表現(xiàn)力的動作。

在經(jīng)過團隊的調教后,人形機器人能做出什么樣的行為呢?

路遇朋友迎面擊掌,這是不在話下的。

我都能腦補出它大聲喊了一句 Hey Man……

親切一點,路遇兄弟,來個抱抱

有點搞笑的事,不管是擊掌還是擁抱,機器人下半身跺腳的行為并不會停止,只是會稍微放緩。

眼尖的朋友們可能已經(jīng)發(fā)現(xiàn)了,上面的擊掌實驗在不同環(huán)境、不同地面進行。

團隊也明確表示,通過新研究訓練出來的人形機器人,可以在各種不同的地形地面上健步如飛。

除了上文展示過的草地和石板路,沙灘對它來說同樣是小菜一碟:

平整的辦公室地面也可以輕松應對:

團隊給出的更多展示中,還表現(xiàn)了更多遇到外界阻力時行動自如的 demo。

狠狠拽它:

拿大球砸它:

還知道抬手示意,“喂,你可以幫我背上小書包了”。

各種操作,看得大伙兒一愣一愣的。

紐約大學計算機科學助理教授發(fā)推特應援,稱這么高水平控制力和表現(xiàn)力的研究成果,居然是一個 6 人組成的學術團隊的產出,“難以置信”!

更多的網(wǎng)友則選擇用“Cool”來形容這項工作:

“無他,照著人類學”

所以,究竟怎么才能讓機器人像以上般“張牙舞爪”、富有類人表現(xiàn)力?設想的思路無他:照著人類學。

學習資料既包括各種人體動捕數(shù)據(jù)集,也包括生成模型、video2pose 模型給出的模擬數(shù)據(jù)。

通過在強化學習框架中進行全身控制的大規(guī)模訓練,機器人就可以在現(xiàn)實世界中進行動作的泛化了。

然而,這樣的 Sim2Real 思想實際還是遇到了問題。

作者介紹,典型數(shù)據(jù)集中的人體模型有 69 個自由度,但他們所用的機器人只有 19 個。除此之外,理論和實際的扭矩限制也不相同。

這就很尷尬了,等于學會的知識實際根本不能拿來就用。

那怎么辦?

那就做一個小小的改動

只讓上半身進行模仿,負責各種表現(xiàn)力,下半身則只負責在任意速度內把兩條腿控制穩(wěn)定就行。

作者姑且就管這個方法就叫做“表現(xiàn)型全身控制”(Expressive Whole-Body Control (Exbody))。

由此,該機器人的整體框架就長這樣:

首先,在拿到各種數(shù)據(jù)集后,系統(tǒng)會有一個運動重定向,用于獲取一系列與符合機器人運動學結構的運動片段。

然后在從這些片段中提取表達目標和根運動目標,進行“Exbody”策略的強化學習訓練,最終將指令部署到真實機器人身上。

其中,表達目標就是機器人上半身要完成的,根運動目標則歸于下半身(當然,這部分也可以用遙控命令直接給出)。

▲ 所用數(shù)據(jù)集

最終,和各種基線方法相比,該機器人取得了如下成績:有幾項比較突出的指標,整體表現(xiàn)還不錯。

(MELV:Mean Episode Linear Velocity Tracking Reward,線性速度跟蹤獎勵 MEK:Mean episode key body tracking reward,關鍵身體追蹤獎勵)

而從下圖來看,Exbody 的策略也能讓機器人在表現(xiàn)時(例如擊掌)膝蓋彎曲更多,抬腳時腳離地面更高。言外之意,動作更賣力更富有表現(xiàn)力一些~當然,也更穩(wěn)。

全華人團隊出品

本研究一共 6 位作者,全部為華人,全部來自加州大學圣地亞哥分校(UCSD)。

共同一作有兩位:

Xuxin Cheng,UCSD 博一在讀,碩士畢業(yè)于 CMU 機器人專業(yè),本科則畢業(yè)于北理工自動化專業(yè)。

Yandong Ji,同 UCSD 博一在讀,碩士畢業(yè)于 UC 伯克利機械工程,本科畢業(yè)于南開大學電子計算機工程專業(yè)。

通訊作者為他們的導師 Xiaolong Wang,UCSD 電氣工程系助理教授。

他博士畢業(yè)于 CMU,目前的研究方向集中于 CV 和機器人技術等等,谷歌學術顯示論文引用次數(shù) 23000+。

哦對了最后,團隊成員還包括本次研究所用的機器人:來自宇樹科技的 Unitree H1。

One More Thing

要說最近的機器人進展,還真不少。

先是 OpenAI 和微軟押注的 Figure 剛剛宣布,新一輪融資籌集了約 6.75 億美元,融資前估值約 20 億美元。

緊接著發(fā)布了個視頻,介紹了旗下人形機器人 Figure 01 的最新進展,稱“一切都是自主的”:

再有就是那個面部表情極其豐富,有時驚艷有時又驚悚的 Ameca,最新宣布已具有視覺能力。

她能觀察所處房間的整個情況,然后用各種各樣的聲音語氣(包括但不限于馬斯克、海綿寶寶)跟你繪聲繪色地描述。

就怪有意思的 hhhhhh

參考鏈接:

  • [1]https://expressive-humanoid.github.io/resources/Expressive_Whole-Body_Control_for_Humanoid_Robots.pdf

  • [2]https://expressive-humanoid.github.io/

  • [3]https://twitter.com/xiaolonw/status/1762528106001379369

本文來自微信公眾號:量子位 (ID:QbitAI),作者:衡宇 豐色

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知