Universal Manipulation Interface

通用操作介面(UMI)是一個資料收集和策略學習框架,允許直接將現場人類演示中的技能轉移到可部署的機器人策略。 UMI採用手持夾具與仔細的介面設計相結合,實現便攜、低成本和資訊豐富的數據收集,用於挑戰性的雙手和動態操作演示。為促進可部署的策略學習,UMI結合了精心設計的策略介面,具有推理時延遲匹配和相對軌跡動作表示。從而產生的學習策略與硬體無關,並且可以在多個機器人平台上部署。配備這些功能,UMI框架解鎖了新的機器人操作功能,僅透過為每個任務更改訓練資料,允許泛化的動態、雙手、精確和長時間的行為,從而實現零次調整。我們透過全面的真實環境實驗演示了UMI的通用性和有效性,其中僅通過使用各種人類演示進行訓練的UMI策略,在面對新環境和對象時實現了零次調整的泛化。

需求人群：

["機器人技能學習","帶外部感測器的手持設備","人機互動介面設計"]

使用場景範例：

利用UMI進行各種日常動作的收集,如拋球、摺衣服、洗碗等

無需標定,直接在不同機器人平台上部署訓練好的策略

採用CLIP預訓練的ViT作為視覺編碼器,使策略對變化更具反應性

產品特色：

便攜式數據收集,2分鐘內啟動

相機主導的動作表示,無需標定,健壯性強

快速資料收集,每次示範30秒

零次調整泛化,可在新環境中部署