DexMimicGen Datasets

该数据集用于双手机器人灵巧操作的自动化数据生成，通过模仿学习实现。数据集包含仿真环境和相关数据，可用于训练和测试机器人操作算法。

This dataset is designed for automated data generation of bimanual robotic dexterous manipulation via imitation learning. It includes simulation environments and associated data, which can be used for training and testing robotic manipulation algorithms.

原始信息汇总

DexMimicGen 数据集概述

数据集简介

• 用于模拟环境和数据集的官方发布，服务于ICRA 2025论文“DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning”。
• 数据集和环境的详细信息可在DexMimicGen官网查看。
• 论文可在arXiv上查看。

使用说明

• 需要安装最新版本的robosuite。 bash git clone https://github.com/ARISE-Initiative/robosuite pip install -e robosuite

• 克隆DexMimicGen仓库并安装。 bash git clone https://github.com/NVlabs/dexmimicgen.git cd dexmimicgen pip install -e .

环境信息

• 环境详细信息见environments.md。

数据集获取

• 数据集可在HuggingFace下载。

• 使用以下脚本下载数据集： bash python scripts/download_hf_datasets.py --path /path/to/save/datasets

• 默认保存路径为./datasets。

• 播放数据集中的演示： bash python scripts/playback_datasets.py --dataset xxxxx.hdf5 --n 1

训练代码

• 提供了配置和训练代码，用于复现论文中的BC-RNN结果。

• 安装robomimic： bash git clone https://github.com/ARISE-Initiative/robomimic.git -b dexmimicgen cd robomimic pip install -e .

• 生成训练配置文件： bash cd dexmimicgen python scripts/generate_training_config.py --dataset_dir /path/to/datasets --config_dir /path/to/save/config --output_dir /path/to/save/output

• 运行训练脚本： bash cd robomimic python scripts/train.py --config /path/to/config

许可

• 代码遵循NVIDIA Source Code License。
• 数据集遵循CC-BY 4.0。

引用

• 如使用该代码，请引用DexMimicGen论文： bibtex @inproceedings{jiang2024dexmimicen, title = {DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning}, author = {Jiang, Zhenyu and Xie, Yuqi and Lin, Kevin and Xu, Zhenjia and Wan, Weikang and Mandlekar, Ajay and Fan, Linxi and Zhu, Yuke}, booktitle = {2025 IEEE International Conference on Robotics and Automation (ICRA)}, year = {2025} }

搜集汇总

数据集介绍

构建方式

DexMimicGen数据集的构建采用了自动化数据生成的方式，通过模仿学习对双臂灵巧操作进行模拟。该数据集的构建依托于robosuite环境，通过模拟双臂在多种任务中的操作，生成具有实际应用价值的数据集。

使用方法

使用DexMimicGen数据集首先需要安装robosuite环境，之后可以通过git克隆的方式获取数据集和相关的脚本。用户可以通过提供的脚本下载数据集，或者通过指定的命令回放数据集中的某个示例。同时，该数据集也提供了用于训练的配置文件和代码，方便用户进行进一步的研究和实验。

背景与挑战

背景概述

DexMimicGen数据集，作为2025年IEEE国际机器人与自动化会议（ICRA）论文的官方发布，旨在通过模仿学习实现双臂灵巧操作自动化数据生成。该数据集由Jiang Zhenyu等研究人员开发，并在机器人学领域产生了显著影响。它解决了双臂操作中的数据不足问题，为模仿学习提供了丰富的实验环境与数据集，推动了双臂机器人灵巧操作技术的发展。

当前挑战

在构建DexMimicGen数据集的过程中，研究人员面临了多方面的挑战。首先，如何生成高质量、多样化的双臂操作数据，以适应不同场景和任务的需求。其次，数据生成过程中确保数据的一致性和准确性，同时保持生成过程的自动化和高效性。此外，数据集的构建还需考虑其在真实世界中的应用可行性，以及如何平衡数据集大小与训练效率之间的关系。

常用场景

经典使用场景

DexMimicGen数据集作为自动化数据生成工具，其经典使用场景在于为双臂灵巧操作提供模仿学习所需的大量数据。该数据集通过模拟环境生成多样化的操作数据，为研究双臂机器人的灵巧操作提供了基础。

解决学术问题

该数据集解决了学术研究中双臂机器人操作数据获取困难的问题，为模仿学习算法的训练提供了高质量的数据支持，进而促进了双臂灵巧操作技术的进步。其意义在于降低了实验成本，提高了研究效率。

实际应用

在实际应用中，DexMimicGen数据集可用于机器人编程、自动化操作系统的开发以及人工智能辅助的制造业等领域，有助于提升机器人操作的灵活性和精确性，推动智能制造的发展。

数据集最近研究

最新研究方向

DexMimicGen数据集是针对双臂灵巧操作自动化数据生成的研究成果，旨在通过模仿学习提升机器人双臂操作的灵活性与精确度。该数据集的发布，不仅为机器人学领域提供了丰富的实验数据，而且推动了双臂机器人操作在仿真环境中的研究。近期研究集中于利用DexMimicGen数据集，通过深度强化学习等方法，使机器人能够更好地理解和执行复杂的手部动作，从而实现在医疗、制造业等领域的实际应用。该研究方向的进展，对于提升机器人智能化水平，拓展其在精细操作任务中的应用具有重要的意义。