ai-habitat/OVMM_episodes

Open Vocab Mobile Manipulation (OVMM) 数据集涉及移动操作任务，包括初始配置、目标规范和候选目标。初始配置包括物体的初始姿态、代理的起始位置和方向。目标规范涉及将特定类别的物体从一个容器移动到另一个容器。候选目标部分详细描述了与任务相关的物体和容器的实例。

The Open Vocab Mobile Manipulation (OVMM) dataset focuses on mobile manipulation tasks, which include three core components: initial configurations, target specifications, and candidate targets. Initial configurations cover the initial poses of objects, as well as the starting position and orientation of the agent. Target specifications involve moving objects of specific categories from one container to another. The candidate targets section elaborates on the instances of objects and containers relevant to the task.

原始信息汇总

Open Vocab Mobile Manipulation episodes

初始配置

• rigid_objs: 所有可拾取物体的初始姿态，通过4x4数组指定。
• start_position: 代理在剧集开始时的位置。
• start_rotation: 代理在剧集开始时的方向。

目标规范

• object_category, start_recep_category, 和 end_recep_category: 这些字段指定OVMM任务目标 - 将object_category从start_recep_category移动到goal_recep_category。

候选目标

每个目标通过object_id以及position和一组view_points（代理姿态，从该姿态可以看见目标）来指定。

• candidate_objects: 属于object_category的对象实例，位于属于start_recep_category的容器上。
• candidate_objects_hard: 所有属于object_category的对象实例。
• candidate_start_receps: 所有属于start_recep_category的容器实例。
• candidate_goal_receps: 所有属于goal_recep_category的容器实例。

搜集汇总

数据集介绍

构建方式

在具身智能领域，OVMM_episodes数据集通过精心设计的仿真环境构建而成。其构建过程以Open-Vocabulary Mobile Manipulation任务为核心，在Habitat仿真平台中生成多样化的交互情景。每个情景片段均包含智能体的初始位姿、场景中可拾取物体的精确位姿，以及由对象类别与起始及目标容器类别所定义的任务目标。数据构建特别注重候选目标的标注，为每个目标物体与容器提供了实例标识、空间坐标及可见视角信息，从而构建出结构化的任务执行框架。

特点

该数据集的核心特点在于其面向开放词汇移动操作任务的标准化情景设计。数据集明确区分了常规候选目标与高难度候选目标，前者限定于起始容器上的目标物体，后者则涵盖场景中所有同类物体实例，这为算法提供了不同难度的评估基准。情景配置中不仅包含智能体的初始状态，还详细标注了各类目标物体的空间位置与可见视角，形成了多层次的语义与几何信息融合。这种结构化的目标规范为移动抓取任务的算法开发与评测提供了清晰且可扩展的基准。

使用方法

使用本数据集时，研究者可将其直接加载至Habitat等兼容的仿真环境中，用于训练或评估开放词汇移动操作智能体。每个情景片段提供了完整的初始配置与任务目标，算法需根据给定的对象与容器类别语义，在候选目标中规划路径、识别并抓取指定物体，最终将其放置于目标容器。通过调用数据集中的候选对象与容器信息，算法能够进行目标定位与导航决策。该数据集适用于端到端策略学习、模块化系统集成以及任务完成度的定量评估。

背景与挑战

背景概述

在具身人工智能领域，机器人需在复杂环境中执行开放式词汇移动操作任务，这要求系统能够理解自然语言指令并完成物体定位、抓取与放置。OVMM_episodes数据集由Meta AI Research等机构于2023年前后构建，旨在为开放词汇移动操作研究提供标准化评估环境。该数据集的核心研究问题在于解决机器人如何在未知场景中根据语义描述完成多步骤操作任务，推动了视觉语言导航与机器人操作技术的交叉融合，对家庭服务机器人等应用产生了深远影响。

当前挑战

该数据集旨在解决开放词汇移动操作任务，其挑战在于机器人需在动态环境中处理无限词汇的语义理解与精确物理交互。具体而言，模型必须从自然语言指令中推断目标物体、起始容器与目标容器，并在部分可观测场景中实现鲁棒的物体识别与抓取。构建过程中的挑战包括大规模三维场景的语义标注一致性、多样化物体与容器实例的合理配置，以及确保任务 episodes 在难度与真实性上的平衡，这些因素共同增加了数据采集与验证的复杂度。

常用场景

经典使用场景

在具身人工智能领域，OVMM_episodes数据集为开放词汇移动操作任务提供了标准化的评估框架。该数据集通过模拟真实室内环境中的物体拾取与放置场景，使智能体能够基于自然语言指令识别目标物体、起始容器与目标容器，并规划移动与操作路径。其经典使用场景聚焦于训练和测试具身智能系统在复杂、动态环境中的语义理解与物理交互能力，为机器人自主执行日常任务奠定基础。

衍生相关工作

围绕OVMM_episodes数据集，衍生了一系列经典研究工作，包括基于强化学习的移动操作策略优化、视觉-语言模型在具身任务中的集成应用，以及多模态感知与规划框架的开发。这些工作不仅拓展了数据集的利用维度，还催生了如Habitat、RoboTHOR等仿真平台的演进，共同推动了开放词汇具身智能领域的理论创新与技术进步。

数据集最近研究

最新研究方向

在具身人工智能领域，开放词汇移动操作（OVMM）数据集正推动机器人自主执行复杂任务的研究。该数据集通过模拟真实场景中的物体抓取与放置，支持机器人学习基于自然语言指令的交互策略。当前前沿研究聚焦于多模态感知与规划融合，利用强化学习与视觉语言模型提升机器人在动态环境中的泛化能力。热点事件如国际机器人竞赛已采纳类似基准，凸显其在推动家庭服务机器人实用化方面的重要意义，为跨场景任务迁移与零样本学习提供了关键实验平台。