[新聞] Google DeepMind推出Gemini Robotics 1.5

[stpiknow (H)]

標題:Google DeepMind推出Gemini Robotics 1.5，讓機器人能夠思考後再行動

來源:iknow科技產業資訊室

原文網址:https://pse.is/86wr55

原文:
基本上，能夠創建文字、影像、音訊甚至視訊的生成式AI系統正變得日益普及。AI模型能
夠輸出這些資料類型，它們也可以用來輸出機器人的動作。這正是Google DeepMind之
Gemini Robotics的基礎。

如今該計畫宣布了兩個新模型，它們可以協同工作，創造出首批在行動前「思考」的機器
人。

Google DeepMind所推出了兩款全新AI模型：Gemini Robotics 1.5 和 Gemini
Robotics-ER 1.5，旨在讓機器人能夠自行規劃、理解和執行複雜任務。這兩款模型都將
多模態感知、語言處理、運動控制與內部決策系統結合。

DeepMind 目前的機器人技術依賴兩種模型：一種是「思考」模型，另一種是「行動」。

Gemini Robotics 1.5是視覺-語言-動作（VLA）模型，這意味著它使用視覺和文字資料來
產生機器人動作。另一個模型中的「ER」代表具身推理 (embodied reasoning)。這是一
個視覺-語言模型 (VLM)，它接受視覺和文字輸入來產生完成複雜任務所需的步驟。

第一個模型Gemini Robotics 1.5將這些規劃轉化為實際行動。與先前的VLA不同，此模型
先推理後行動：它會建立內部邏輯鏈，規劃中間步驟，分解複雜任務，並解釋其決策。例
如，在將衣物分類時，模型會識別目標（例如「將淺色衣物放入白色垃圾桶」），然後規
劃抓取動作並執行。

至於Gemini Robotics-ER 1.5 是機器人的高階「大腦」。它負責任務規劃，使用谷歌搜
尋等數位工具，以自然語言進行交流，並監控進度和成功率。根據Google DeepMind 稱，
該模型在 15 項具身推理基準測試上取得了最佳結果。

這兩種模型都可以將其能力推廣到不同類型的機器人。谷歌表示，ALOHA 2 機器人學習到
的運動模式也可以在Apptronik 的 Apollo 或雙臂 Franka 機器人等平台上運行，無需額
外微調。

這些模型包含內建安全檢查功能。在執行操作之前，Gemini Robotics 1.5 會檢查移動是
否安全，並在需要時觸發防撞等功能。

這兩種型號都基於更廣泛的 Gemini 多模態系列，並針對機器人技術進行了專門調整。
Gemini Robotics-ER 1.5 現已透過 Google AI Studio 中的 Gemini API 提供，目前僅
限部分合作夥伴使用。

總之，有別於傳統依賴單一資料和特定平台的訓練方式，Gemini Robotics 1.5系列模型
使機器人能夠跨平台遷移技能，並在複雜環境中展現出類人適應性，拓展了機器人模型的
通用性。這也成為眾多廠商建構機器人模型的目標之一。

過去機器人往往只能依循固定程式，在既定框架下完成單調任務，如今藉由具身推理與跨
平台學習，它們不僅能理解環境、規劃多步驟任務，甚至能把一種硬體的經驗快速轉移到
另一種機器人身上，這意味著未來的機器學習將不再是耗時的重複過程，而是一種「即學
即用」的演化模式。心得:

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1759211752.A.DBF.html
推 dakkk: 還有幾集可逃
推 darot: 試試看 不知道是不是真的有這麼厲害
推 jiansu: 工廠的簡單繁瑣工作流程自動化 才是ai被
→ jiansu: 設想的目標便利應用 現在把程式/視覺/音
→ jiansu: 樂 搞成這麼強大 簡直就是意外
推 michellehot: ALOHA滑蛋蝦仁餵你吃
推 DonnyDon: 光靠實驗室數據 是能練個鬼
推 DrFord: 未來AR普及了可能有助於具身智能的發展
→ DrFord: 反倒是鎖螺絲的工人最後被AI取代
→ DrFord: 也是蠻諷刺的
噓 pig2014: 我猜用nv omniverse train出來的