DOZE

我们提出了一个名为DOZE的数据集，用于在动态环境中进行开放词汇零样本对象导航。该数据集包含十个高保真3D场景，超过18,000个任务，旨在模拟复杂的动态真实世界场景。DOZE场景具有多个移动的人形障碍物、广泛的开放词汇对象、多样化的具有独特属性的对象以及有价值的文本提示。与现有的仅提供代理与静态障碍物之间碰撞检查的数据集不同，我们通过集成检测代理与移动障碍物之间碰撞的能力来增强DOZE。We introduce a dataset named DOZE, designed for open-vocabulary zero-shot object navigation in dynamic environments. This dataset comprises ten high-fidelity 3D scenes and over 18,000 tasks, aiming to simulate complex dynamic real-world scenarios. The DOZE scenes feature multiple moving humanoid obstacles, a wide range of open-vocabulary objects, diverse objects with unique attributes, and valuable textual prompts. Unlike existing datasets that only provide collision checks between agents and static obstacles, we enhance DOZE by integrating the capability to detect collisions between agents and moving obstacles.

原始信息汇总

数据集概述

名称: DOZE: A Dataset for Open-Vocabulary Zero-Shot Object Navigation in Dynamic Environments

描述: DOZE包含十个高保真3D场景，超过18,000个任务，旨在模拟复杂的动态真实世界场景。场景中包含多个移动的人形障碍物、广泛的开放词汇对象、多样化的具有独特属性的对象以及有价值的文本提示。与现有数据集仅提供代理与静态障碍物的碰撞检查不同，DOZE还集成了代理与移动障碍物之间的碰撞检测功能。

数据集下载

下载链接: 😴DOZE🐱

下载步骤:

1. 安装并登录openxlab平台。
2. 使用命令openxlab dataset get --dataset-repo JiMa25/DOZE下载数据集。

数据集结构

文件系统层次:

• episodes: 包含四个导航任务文件夹（Appearance, Spacial, OV, Hint），每个文件夹包含10个场景的JSON数据文件。
• scenes: 包含三个子文件夹（static, dynamic_fixed, dynamic_random），每个子文件夹包含10个3D场景，分别对应静态和两种移动模式的人形障碍物。

数据集内容

场景内容:

• 静态场景: 包含静态人形障碍物的10个3D场景。
• 动态固定轨迹场景: 包含固定轨迹移动人形障碍物的10个3D场景。
• 动态随机轨迹场景: 包含随机轨迹移动人形障碍物的10个3D场景。

任务结构:

• id: 任务索引。
• scene: 任务场景。
• initial_horizon: 初始状态的视野范围。
• initial_orientation: 初始旋转。
• initial_position: 初始位置。
• goal_object: 目标对象。
• shortest_path: 从起始点到目标对象附近的最短路径。
• shortest_path_length: 最短路径长度。

数据集使用

环境设置:

• 使用命令pip install -r requirements.txt设置环境。
• 通过运行python example.py启动示例。

搜集汇总

数据集介绍

构建方式

DOZE数据集通过构建十个高保真度的三维场景，模拟了复杂且动态的真实世界环境，包含超过18,000个任务。这些场景不仅包含多种开放词汇对象和具有独特属性的对象，还引入了多个移动的人形障碍物，以及丰富的文本提示。与现有数据集不同，DOZE特别增强了代理与移动障碍物之间的碰撞检测能力，从而更真实地反映了动态环境中的导航挑战。

特点

DOZE数据集的显著特点在于其开放词汇对象和动态环境的模拟，提供了多样化的任务类型，包括外观、空间、开放词汇和提示等导航任务。此外，数据集还包含了静态、固定轨迹和随机轨迹的移动障碍物场景，增强了数据集的复杂性和实用性。通过这些设计，DOZE为研究者提供了一个全面且具有挑战性的对象导航测试平台。

使用方法

使用DOZE数据集时，用户首先需要通过OpenXLab平台下载数据集，并解压缩包含的多个文件包。数据集分为静态、固定轨迹和随机轨迹的动态场景，以及多个导航任务数据包。用户可以通过运行提供的示例脚本快速上手，并根据需要调整和扩展实验。数据集的文件结构清晰，便于用户快速定位和使用所需的数据。

背景与挑战

背景概述

DOZE数据集，全称为Dataset for Open-Vocabulary Zero-Shot Object Navigation in Dynamic Environments，是由Ji Ma等人于2024年创建的，旨在模拟复杂动态环境中的开放词汇零样本目标导航任务。该数据集包含十个高保真3D场景，涵盖超过18,000个任务，旨在解决在动态环境中进行目标导航的挑战。DOZE不仅引入了多种开放词汇对象和多样化的属性对象，还通过整合移动障碍物的碰撞检测功能，增强了数据集的复杂性和实用性。该数据集的发布对机器人学和自动化领域具有重要意义，为研究者提供了一个模拟真实世界动态场景的平台。

当前挑战

DOZE数据集面临的主要挑战包括：首先，如何在动态环境中实现开放词汇的零样本目标导航，这是一个极具挑战性的任务，要求模型能够处理未见过的对象和环境变化。其次，数据集构建过程中需要处理大量复杂的3D场景和动态障碍物，确保场景的真实性和任务的多样性。此外，数据集还需要提供丰富的文本提示和多样化的导航任务，以支持不同类型的研究需求。这些挑战不仅推动了数据集的构建，也为相关领域的研究提供了新的方向和机遇。

常用场景

经典使用场景

DOZE数据集的经典使用场景主要集中在动态环境中的零样本目标导航任务。该数据集通过提供高保真的3D场景和多样化的任务，模拟了复杂的现实世界动态环境，包括移动的人形障碍物和开放词汇对象。研究者可以利用这些场景和任务，训练和评估导航算法在动态环境中的表现，特别是在处理开放词汇对象和移动障碍物时的能力。

解决学术问题

DOZE数据集解决了在动态环境中进行零样本目标导航的学术研究问题。传统的导航数据集通常仅限于静态障碍物，而DOZE通过引入移动障碍物和开放词汇对象，填补了这一研究空白。该数据集的引入不仅推动了导航算法在复杂环境中的适应性研究，还为开放词汇识别和动态障碍物检测提供了新的研究方向，具有重要的学术意义。

衍生相关工作

DOZE数据集的发布催生了一系列相关研究工作，特别是在动态环境中的目标导航和开放词汇识别领域。许多研究者基于DOZE数据集开发了新的算法，用于处理动态障碍物和开放词汇对象的识别与导航。此外，DOZE还激发了对多模态数据融合的研究，通过结合视觉和文本提示，提升导航系统的鲁棒性和准确性。这些衍生工作进一步推动了机器人学和计算机视觉领域的发展。