谷歌开天眼：Gemini 1.5 Pro赋予机器人记忆导航超能力

摘要

Google DeepMind 推出了一个名为 Gemini 1.5 Pro 的系统，并将其安装在机器人上，使其具备记忆导航能力。该系统在一个近9000平方英尺的区域内执行了57种不同的任务，成功率达到了90%。

主要特点

1. 记忆导航能力：系统能处理多模态的长上下文窗口，记住关键位置。
2. 多模态指令导航：系统通过“多模态指令导航演示”熟悉环境布局，使用分层视觉-语言-动作（VLA）技术理解书面、绘图命令和手势指令。
3. 自主行动：机器人能够在复杂空间中自由行动，无需人类持续指导，具备记忆环境和理解指令的能力，自主完成任务。

技术优势

1. 高成功率：机器人在近9000平方英尺的区域内执行57种任务，成功率达90%。
2. 灵活应用：记忆导航和多模态指令导航技术使机器人在实际应用中更加灵活有用。
3. 智能伙伴：提升机器人智能，使其成为人类工作和生活的智能伙伴。

相关链接

– 论文：https://arxiv.org/pdf/2407.07775v1