fifteen

fifteen数据集用于训练PoliFormer模型，包含代理在导航和获取十五种可能对象类型中的行为数据。数据集包括传感器信息、视频轨迹和对象类型/ID等。

The Fifteen Dataset is designed for training the PoliFormer model, and it encompasses behavioral data collected from agents during navigation and the acquisition of one of the fifteen possible object types. The dataset includes sensor information, video trajectories, object types/IDs, and other associated metadata.

原始信息汇总

PoliFormer 数据集概述

数据集描述

PoliFormer 数据集用于训练和评估基于 Transformer 的强化学习模型，旨在实现高效的导航任务。数据集包括训练数据和评估数据，涵盖了多种对象类型和场景。

数据下载

训练数据

PoliFormer 使用 fifteen 类型的数据进行训练，该类型涉及代理在环境中导航并获取十五种可能的对象之一。

下载命令

bash python -m scripts.download_training_data --save_dir /your/local/save/dir --types fifteen

数据格式

下载的数据包含以下目录结构：

/your/local/save/dir/<fifteen OR all>type <TASK_TYPE> house_id_to_sub_house_id_train.json house_id_to_sub_house_id_val.json train <HOUSEID> hdf5_sensors.hdf5 raw_navigation_camera_<EPISODE_NUMBER>.mp4 raw_manipulation_camera__<EPISODE_NUMBER>.mp4 val # As with train

评估数据

评估数据包括优化后的 Objaverse 资产、注释和 ProcTHOR-Objaverse 房屋。

下载命令

bash python -m objathor.dataset.download_annotations --version 2023_07_28 --path /path/to/objaverse_assets python -m objathor.dataset.download_assets --version 2023_07_28 --path /path/to/objaverse_assets python -m scripts.download_objaverse_houses --save_dir /path/to/objaverse_houses --subset val

数据集结构

训练数据

• house_id_to_sub_house_id_train.json 和 house_id_to_sub_house_id_val.json：包含训练和验证数据的映射。
• hdf5_sensors.hdf5：包含传感器数据，如房屋ID、起始姿态和目标对象类型/ID。
• raw_navigation_camera__<EPISODE_NUMBER>.mp4 和 raw_manipulation_camera__<EPISODE_NUMBER>.mp4：包含导航和操作摄像头的原始视频数据。

评估数据

• annotations.json.gz：包含每个对象的注释。
• assets：包含优化后的 Objaverse 资产。
• val.jsonl.gz：包含 ProcTHOR-Objaverse 房屋的验证集。

使用方法

训练

bash python training/online/dinov2_vits_tsfm_rgb_augment_objectnav.py train --num_train_processes NUM_OF_TRAIN_PROCESSES --output_dir PATH_TO_RESULT --dataset_dir PATH_TO_DATASET

评估

bash python training/online/online_eval.py --output_basedir PATH_TO_RESULT --num_workers NUM_WORKERS --ckpt_path ckpt/text_nav/model.ckpt --training_tag text-nav --house_set objaverse --gpu_devices 0 1 2 3 4 5 6 7

引用

bibtex @article{zeng2024poliformer,
author = {Zeng, Kuo-Hao and Zhang, Zichen and Ehsani, Kiana and Hendrix, Rose and Salvador, Jordi and Herrasti, Alvaro and Girshick, Ross and Kembhavi, Aniruddha and Weihs, Luca}, title = {PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators}, journal = {CoRL}, year = {2024}, }

搜集汇总

数据集介绍

构建方式

fifteen数据集通过SPOC平台构建，专注于机器人导航和物体抓取任务。该数据集包含十五种不同类型的物体，每种类型对应多个训练和验证场景。构建过程中，数据集记录了每个场景中的传感器数据，包括但不限于视频流和传感器读数，这些数据存储在hdf5文件中，详细记录了房屋ID、起始姿态和目标物体类型/ID。此外，数据集还提供了轨迹视频和传感器记录，以便于训练和评估机器人导航模型。

特点

fifteen数据集的主要特点在于其高度结构化和多样化的数据内容。首先，数据集涵盖了十五种不同的物体类型，每种类型在多个场景中重复出现，确保了训练数据的充分性和多样性。其次，数据集采用了hdf5格式存储传感器数据，这种格式不仅高效且易于处理，适合大规模数据集的管理。此外，数据集还提供了详细的轨迹视频和传感器记录，为研究者提供了丰富的视觉和感知信息，有助于开发和验证复杂的机器人导航算法。

使用方法

使用fifteen数据集进行训练和评估，首先需要下载数据集并设置相应的环境变量。可以通过运行提供的脚本下载训练数据，并按照指示设置Docker环境或本地安装依赖。在数据准备就绪后，用户可以通过运行训练脚本进行模型训练，指定训练进程数和输出目录。对于评估，用户可以选择下载预训练模型检查点，并运行评估脚本，指定输出目录、工作进程数和模型路径。通过这些步骤，用户可以充分利用fifteen数据集进行机器人导航模型的开发和验证。

背景与挑战

背景概述

fifteen数据集是由SPOC（Simulated Platform for Object Collection）项目创建的，旨在支持PoliFormer研究。该数据集专注于机器人导航和物体抓取任务，具体涉及十五种不同类型的物体。创建于2023年，主要研究人员来自Allen Institute for AI，核心研究问题是如何利用Transformer模型扩展策略性强化学习（On-Policy RL），以实现高效的机器人导航。这一研究对机器人学习和自动化领域具有重要影响，特别是在复杂环境中的导航和物体识别方面。

当前挑战

fifteen数据集面临的挑战包括：1) 数据集构建过程中，如何确保传感器数据的准确性和一致性，特别是在多传感器融合和视频数据处理方面；2) 在训练和评估过程中，如何有效处理大规模的场景数据和复杂的物体识别任务，以提高模型的泛化能力和鲁棒性；3) 在实际应用中，如何应对动态环境和多样化的物体布局，确保机器人能够灵活适应并完成导航任务。

常用场景

经典使用场景

在机器人导航领域，fifteen数据集被广泛用于训练和评估基于强化学习（RL）的导航模型。该数据集通过模拟真实环境中的导航任务，提供了丰富的传感器数据和视频记录，使得研究者能够开发出能够在复杂环境中高效导航的智能体。通过使用fifteen数据集，研究者可以训练出能够在多种对象类型中进行精准定位和导航的机器人，这对于提升机器人在实际应用中的自主性和适应性具有重要意义。

衍生相关工作

基于fifteen数据集，研究者们开发了多种先进的导航算法和模型，如PoliFormer等。这些工作不仅在学术界引起了广泛关注，也在实际应用中展示了强大的性能。此外，fifteen数据集还促进了多模态数据融合技术的研究，推动了传感器数据处理和视频分析技术的发展，为机器人导航领域的进一步创新奠定了基础。

数据集最近研究

最新研究方向

在强化学习领域，PoliFormer数据集的最新研究方向聚焦于利用Transformer架构扩展策略强化学习（On-Policy RL），以提升智能体在复杂环境中的导航能力。这一研究不仅推动了智能体在多对象识别与定位任务中的表现，还通过大规模数据集的训练，显著提高了智能体的决策效率和准确性。此外，该研究还探索了如何在实际应用中优化资源分配，以实现更高效的训练和评估流程，这对于推动机器人学习和自动驾驶等前沿技术的发展具有重要意义。