蘋果要搞人形機器人這事兒現(xiàn)在傳得沸沸揚揚。
最近他們確實有新動作 —— 開發(fā)了一套機器人感知系統(tǒng)！
系統(tǒng)名為 ARMOR，軟硬件協(xié)同增強機器人的“空間意識”，能動態(tài)防碰撞的那種。
硬件方面，ARMOR 通過在機器人手臂上安裝小型智能深度傳感器，為機器人提供幾乎完整的環(huán)境視圖，解決了傳統(tǒng)機器人感知中的盲點和遮擋問題。
軟件方面，蘋果開發(fā)了一個基于 Transformer 的 AI 驅動 ARMOR-Policy，能夠從人類動作中學習，幫助機器人動態(tài)規(guī)劃行動。
團隊還將 ARMOR 部署在了傅利葉 GR-1 機器人上進行實驗。
實驗結果顯示，與使用四個頭戴式和外部安裝的深度相機（外心感知）相比，ARMOR 系統(tǒng)使碰撞降低了 63.7%！
與基于采樣的運動規(guī)劃專家系統(tǒng) cuRobo 相比，ARMOR-Policy 計算效率提升 26 倍，確保機器人能夠迅速行動。
看到蘋果在人形機器人方面的布局，網(wǎng)友直呼這是大勢所趨：
他們不可能永遠依賴智能手機賺錢。從長遠來看，機器人市場將遠大于智能手機市場。
ARMOR 系統(tǒng)長啥樣？
當前，傳統(tǒng)人形機器人通常依賴頭部或軀干安裝的集中式相機和激光雷達進行環(huán)境感知，這種方式雖然易于集成且能提供較好的視野范圍，但在手臂和手部區(qū)域常常存在嚴重的遮擋問題。
雖然一些研究嘗試在機器人終端執(zhí)行器上集成觸覺傳感，但這種方案成本高昂，且難以大規(guī)模應用于機器人手臂，同時在策略學習中如何有效利用觸覺輸入仍待解決。
ARMOR 系統(tǒng)，提供了一種硬件和軟件整合設計，它由來自卡內基梅隆大學的學者 Daehwa Kim 在蘋果實習期間與蘋果團隊共同開發(fā)。
在硬件方面，與集中式 RGBD 相機一次性捕捉密集幀中的全部細節(jié)不同，團隊選擇了 SparkFun VL53L5CX 飛行時間（ToF）激光雷達作為基礎傳感單元，將稀疏感知分布在多個傳感器上，形成“以自我為中心的感知”。
這種傳感器體積為 6.4×3.0×1.5mm，可以以 15Hz 的頻率提供 8×8 分辨率的深度圖像，對角視場為 63°，測距范圍達 4000mm。
研究團隊在機器人的每個手臂上布置了 20 個這樣的傳感器，共計 40 個傳感器形成分布式感知網(wǎng)絡。
每四個傳感器連接到一個 XIAO ESP 微控制器，通過 I2C 總線進行數(shù)據(jù)讀取，再通過 USB 傳輸?shù)綑C器人的板載計算機（Jetson Xavier NX），最后無線傳輸?shù)脚鋫?NVIDIA GeForce RTX 4090 GPU 的 Linux 主機進行處理，確保整個系統(tǒng)能夠維持 15Hz 的刷新率。
在軟件方面，研究團隊開發(fā)了基于 Transformer 編碼器-解碼器架構的 ARMOR-Policy，類似于動作分塊 Transformer（ACT）。
該策略通過模仿學習從無碰撞的人類運動演示中學習。
為了訓練這個策略，研究團隊使用了 AMASS 數(shù)據(jù)集中的 311922 個人類真實運動序列（約 86.6 小時），這些數(shù)據(jù)包含了各種相關的人類姿態(tài)，如操作、舞蹈和社交行為等。
團隊將這些人類動作軌跡重定向到機器人的關節(jié)配置上，并在軌跡周圍生成緊湊的障礙物，確保軌跡本身不發(fā)生碰撞。
訓練數(shù)據(jù)的生成采用了三種策略：避障運動、緊急停止和無碰撞運動。
ARMOR-Policy 的網(wǎng)絡架構設計考慮到了運動規(guī)劃可能存在多個有效解的特點。通過引入額外的編碼器層來推斷潛在變量 z，使策略能夠通過調整 z 生成不同的運動軌跡候選。
在推理階段，系統(tǒng)會并行計算 N 個候選軌跡，并通過最小化機器人與點云之間的距離來選擇最優(yōu)路徑。網(wǎng)絡輸入包括潛在變量 z、當前和目標關節(jié)位置（28 維向量），以及 40 個 ToF 激光雷達傳感器的深度圖像數(shù)據(jù)。
深度圖像通過修改后的單通道 ResNet18 骨干網(wǎng)絡處理，提取 512 維特征。整個網(wǎng)絡架構包含約 84M 參數(shù)。
實驗驗證顯示，ARMOR 系統(tǒng)在多個方面都優(yōu)于現(xiàn)有方案。
與使用四個頭戴式和外部安裝的深度相機（外部感知）的傳統(tǒng)策略相比，ARMOR 系統(tǒng)在避障性能上取得了顯著提升，碰撞降低 63.7%，成功率提升 78.7%。
同時，與基于采樣的運動規(guī)劃專家系統(tǒng) cuRobo 相比，ARMOR-Policy 表現(xiàn)出更好的性能，碰撞減少 31.6%，成功率提高 16.9%，計算效率更是提升了 26 倍。
研究團隊還通過在傅利葉 GR-1 人形機器人上部署 28 個 ToF 激光雷達，實際驗證了 ARMOR 系統(tǒng)在真實環(huán)境中的應用可行性，系統(tǒng)能夠實現(xiàn) 15Hz 的實時避障軌跡更新。
“蘋果做機器人幾乎是必然的”
最近，關于蘋果發(fā)力人形機器人的爆料頻出。
比如彭博社爆料，蘋果正在尋找其“下一個重大項目”，機器人正是其關注的領域之一。蘋果工程團隊正在開發(fā)多種家庭機器人設備以及可能增強家庭機器人實用性的 AI 軟件和功能。
而蘋果機器人研發(fā)活動由硬件工程部門和 John Giannandrea 領導的 AI 與機器學習團隊共同進行。
更有爆料指出，蘋果將優(yōu)先打造桌面機器人，它將作為“家庭指揮中心”，可用于 FaceTime 視頻通話以及家庭安全監(jiān)控。
這一系列舉動也引發(fā)了網(wǎng)友大量討論。
有網(wǎng)友分析，蘋果在人形機器人賽道的布局，幾乎是必然的：
蘋果人形機器人？這不僅是可能的，幾乎是必然的。憑借他們的設計理念和生態(tài)系統(tǒng)整合，他們將為個人機器人設定一個高標準。
隨著智能手機的逐漸淘汰，機器人確實有可能成為下一個普遍存在的技術。想象一下，Siri 體現(xiàn)在一個時尚的人形助手中，這將是一個游戲規(guī)則的改變者！
這種分析立馬遭到其他網(wǎng)友反駁，揭老底：
蘋果之前也吵吵著要做自動駕駛汽車，但最后還是放棄了。雖然蘋果有能力開發(fā)人形機器人，但會不會真做還是不太清楚。
蘋果偏好主導市場，不喜歡面對激烈的競爭，而人形機器人和 AI 市場將極具競爭性。
那么，你看好蘋果做人形機器人嗎？
論文鏈接：https://arxiv.org/pdf/2412.00396v1
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。