通用操作介面(UMI)是一個資料收集和策略學習框架,允許直接將現場人類演示中的技能轉移到可部署的機器人策略。 UMI採用手持夾具與仔細的介面設計相結合,實現便攜、低成本和資訊豐富的數據收集,用於挑戰性的雙手和動態操作演示。為促進可部署的策略學習,UMI結合了精心設計的策略介面,具有推理時延遲匹配和相對軌跡動作表示。從而產生的學習策略與硬體無關,並且可以在多個機器人平台上部署。配備這些功能,UMI框架解鎖了新的機器人操作功能,僅透過為每個任務更改訓練資料,允許泛化的動態、雙手、精確和長時間的行為,從而實現零次調整。我們透過全面的真實環境實驗演示了UMI的通用性和有效性,其中僅通過使用各種人類演示進行訓練的UMI策略,在面對新環境和對象時實現了零次調整的泛化。
需求人群:
["機器人技能學習","帶外部感測器的手持設備","人機互動介面設計"]
使用場景範例:
利用UMI進行各種日常動作的收集,如拋球、摺衣服、洗碗等
無需標定,直接在不同機器人平台上部署訓練好的策略
採用CLIP預訓練的ViT作為視覺編碼器,使策略對變化更具反應性
產品特色:
便攜式數據收集,2分鐘內啟動
相機主導的動作表示,無需標定,健壯性強
快速資料收集,每次示範30秒
零次調整泛化,可在新環境中部署
AI工具是利用人工智能技術進行自動化任務處理的軟件或平臺。
AI工具在多個行業都有廣泛應用,包括但不限於醫療、金融、教育、零售、製造、物流、娛樂和技術開發等。?
部分AI工具需要一定的編程技能,尤其是那些用於機器學習、深度學習和開發自定義解決方案的工具。
很多AI工具支持與第三方軟件集成,尤其是在企業級應用中。
很多AI工具都支持多語言,特別是面向國際市場的工具。