谷歌DeepMind推出了他們的秘密武器—— Gemini Robotics ! 這可不是你家掃地機器人那點小打小鬧,而是要將AI的智慧真正注入鋼鐵之軀,讓機器人也能像咱們一樣(甚至更聰明地)在物理世界里大顯身手。
Gemini Robotics的核心在於其基於先進的Gemini2.0模型。要知道,Gemini本身就具備處理文本、圖像、音頻和視頻的強大能力。
而Gemini Robotics更進一步,讓機器人擁有了理解物理空間並採取行動的“超能力”。這意味著,無論是應對文字指令、識別眼前畫面、聽懂你的“靈魂”語音,還是分析一段操作視頻,Gemini Robotics都能心領神會,並轉化為實際的物理操作。
想像一下,以後只需動動嘴皮子,或者給機器人看張圖,它就能幫你把家務安排得明明白白,是不是有點小激動?
要說Gemini Robotics最讓人眼前一亮的,還得是它的泛化能力。這可不是只會執行預設程序的“憨憨”,它擁有Gemini強大的世界知識,即使面對全新的物體、五花八門的指令,甚至是前所未有的環境,也能迅速理解並找到解決方案。
谷歌自豪地表示,在綜合泛化基準測試中,Gemini Robotics的性能比其他頂尖的視覺-語言-動作模型高出兩倍以上。這就像一個學霸,不僅能輕鬆應對考試,還能舉一反三,解決各種實際問題。以後遇到突發狀況,再也不用擔心機器人“掉線”啦!
在人機交互方面,Gemini Robotics也展現出了驚人的互動性。它不僅能理解日常口語化的指令,還能對指令的突然變化或周圍環境的改變做出快速反應。
更厲害的是,它還能在接收到初步指令後,無需過多干預就能自主完成任務。 設想一下,你一邊悠閒地喝著咖啡,一邊隨口說一句“幫我收拾一下桌子”,Gemini Robotics就能迅速領會,並靈活應對可能出現的各種小意外,比如不小心碰倒了水杯,它也能及時調整動作。 。
別看Gemini Robotics“智商”高,它的“情商”——也就是靈活性也同樣出色。許多我們人類習以為常的精細動作,對於傳統機器人來說往往是巨大的挑戰。
但Gemini Robotics卻能輕鬆應對,無論是摺紙、打包午餐,還是製作一份精緻的沙拉,它都能展現出細膩的動作和精準的協調性。以後想吃個愛心便當,或許只需要給Gemini Robotics一個簡單的食譜就行了。
更令人驚喜的是,Gemini Robotics還具備多形態適應性。它並非只適用於某一種特定的機器人形態,無論是雙臂機器人平台ALOHA2,還是人形機器人Apptronik的Apollo,Gemini Robotics都能輕鬆駕馭。這意味著,未來我們可以看到各種各樣搭載Gemini Robotics的智能機器人,在不同的領域發揮其獨特的作用。
除了Gemini Robotics這個“全能選手”,谷歌還推出了Gemini Robotics-ER 。這裡的“ER”代表“具身推理”(Embodied Reasoning)。
這款模型更側重於提昇機器人對物理世界的空間理解能力,並能與現有的低級別控制器相結合。它可以大幅提升Gemini2.0在物體指認和3D檢測等方面的能力。
通過結合空間推理和Gemini的編碼能力,Gemini Robotics-ER甚至可以“即時”創造全新的機器人功能。例如,當看到一個咖啡杯時,它就能自主判斷出最合適的抓握方式和安全的移動軌跡。
當然,在讓AI走進現實世界的同時,安全問題也是重中之重。谷歌強調,他們採取了全面的安全措施,從底層的電機控製到高層的語義理解,都進行了細緻的考慮。
Gemini Robotics-ER可以與機器人原有的安全控制器進行交互,判斷潛在動作的安全性,並生成合適的響應. 此外,谷歌還發布了一個新的數據集ASIMOV,以評估和提升具身AI和機器人的語義安全性。他們還與內外部專家、政策制定者以及責任與安全委員會緊密合作,確保Gemini Robotics的發展符合倫理和安全標準。
為了加速Gemini Robotics的落地應用,谷歌已經與多家機器人公司展開合作,包括Apptronik、Agile Robots、Agility Robotics、Boston Dynamics和Enchanted Tools等。通過與這些行業領軍者的合作,我們可以期待在不久的將來,看到更多搭載Gemini Robotics的智能機器人出現在我們的生活和工作中。
谷歌的Gemini Robotics無疑為人工智能和機器人領域注入了新的活力。它強大的多模態理解能力、出色的泛化性、自然的人機交互以及精湛的操作技能,都預示著一個智能機器人時代即將到來。至於這到底是“打工人福音”還是會帶來一些“小小的”職業挑戰,就讓我們拭目以待吧!畢竟,誰不想擁有一個聰明又勤勞的機器人助手呢?
官方博客:https://deepmind.google/discover/blog/gemini-robotics-brings-ai-into-the-physical-world/