robotwin_dataset

RoboTwin数据集是一个双臂机器人任务基准，包含生成式数字双胞胎。该数据集用于机器人研究，包括数据收集、任务配置、策略部署和数字双胞胎生成。README文件提供了安装说明、使用指南和一个显示不同算法在各种任务上性能的排行榜。该数据集已被ECCV Workshop 2024（口头报告）接受。

The RoboTwin dataset is a dual-arm robotic task benchmark that includes generative digital twins. This dataset is designed for robotics research, covering data collection, task configuration, policy deployment, and digital twin generation. The accompanying README file provides installation instructions, usage guidelines, and a leaderboard that showcases the performance of different algorithms across various tasks. This dataset has been accepted by ECCV Workshop 2024 (oral presentation).

原始信息汇总

RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins

数据集概述

• 名称: RoboTwin
• 版本: 早期版本
• 发布机构: Yao Mu, Tianxing Chen, Zanxin Chen, Shijia Peng, Zeyu Gao, Zhiqian Lan, Yude Zou, Lunkai Lin, Zhiqiang Xie, Ping Luo
• 许可证: MIT
• 发布会议: ECCV Workshop 2024 (Oral)
• 相关链接:
  • 项目网页
  • 论文PDF
  • arXiv页面

数据集任务

• 任务信息: 即将发布

数据集使用

1. 任务运行与数据收集

• 运行任务: 使用 run_task.sh 脚本运行任务 bash bash run_task.sh ${task_name} ${gpu_id}

• 数据收集: 数据将收集到根目录下的 data 文件夹中，通常以 .pkl 格式存储。

2. 任务配置

• 配置文件: 位于 config 文件夹中，对应每个任务的配置。
• 重要参数:
  1. render_freq: 设置为0表示不渲染，设置为10表示每10帧渲染一次。
  2. collect_data: 设置为True时启用数据收集。
  3. camera_w,h: 相机参数，共有4个相机，分别位于手腕和顶部、正面。
  4. pcd_crop: 是否裁剪点云数据以去除桌面和墙壁等元素。
  5. pcd_down_sample_num: 使用FPS方法对点云数据进行下采样，设置为0表示保留原始点云数据。
  6. data_type/endpose: 末端执行器的6D姿态。
  7. data_type/qpos: 表示关节动作。
  8. observer: 是否保存观察者视角的照片以便于观察。

3. 部署策略

• 策略文件: 位于 envs/base_task.py 中，搜索 TODO 并修改代码以加载自定义策略。
• 评估策略: 修改 script/eval_policy.py 以加载模型进行评估。 bash bash script/run_eval_policy.sh ${task_name} ${gpu_id}

4. DP3作为基线

• DP3代码: 位于 policy/3D-Diffusion-Policy 中。

• 数据处理: 收集数据后，运行 script/pkl2zarr_dp3.py 进行数据处理。 bash python script/pkl2zarr_dp3.py

• 训练DP3: 进入 policy/3D-Diffusion-Policy 目录，运行 train.sh 脚本进行训练。 bash bash train.sh ${task_name} ${expert_data_num} ${gpu_id}

• 评估DP3: 运行 eval.sh 脚本进行评估。 bash bash eval.sh ${task_name} ${expert_data_num} ${gpu_id}

数据集性能

• 当前排行榜:

  Task	Algorithm	10 demos	20 demos	50 demos
  Apple Cabinet Storage	DP3 (XYZ)	41%	59%	75%
  	DP3 (XYZ+RGB)	22%	41%	60%
  Block Handover	DP3 (XYZ)	55%	89%	70%
  	DP3 (XYZ+RGB)	48%	81%	94%
  Block Stack (Easy)	DP3 (XYZ)	/	/	/
  	DP3 (XYZ+RGB)	0%	1%	23%
  Container Place	DP3 (XYZ)	34%	54%	68%
  	DP3 (XYZ+RGB)	18%	28%	54%
  Dual Bottles Pick (Easy)	DP3 (XYZ)	10%	48%	78%
  	DP3 (XYZ+RGB)	9%	41%	75%
  Empty Cup Place	DP3 (XYZ)	3%	30%	73%
  	DP3 (XYZ+RGB)	7%	23%	82%
  Pick Apple Messy	DP3 (XYZ)	2%	2%	9%
  	DP3 (XYZ+RGB)	2%	3%	25%
  Shoes Place	DP3 (XYZ)	2%	1%	12%
  	DP3 (XYZ+RGB)	0%	0%	5%
  Block Hammer Beat	DP3 (XYZ)	37%	45%	60%
  	DP3 (XYZ+RGB)	36%	41%	73%
  Block Sweep	DP3 (XYZ)	49%	80%	96%
  	DP3 (XYZ+RGB)	70%	98%	99%
  Block Stack (Hard)	DP3 (XYZ)	/	/	/
  	DP3 (XYZ+RGB)	0%	0%	3%
  Diverse Bottles Pick	DP3 (XYZ)	3%	12%	38%
  	DP3 (XYZ+RGB)	0%	1%	7%
  Dual Bottles Pick (Hard)	DP3 (XYZ)	13%	29%	46%
  	DP3 (XYZ+RGB)	11%	26%	48%
  Mug Hanging	DP3 (XYZ)	1%	9%	13%
  	DP3 (XYZ+RGB)	1%	2%	6%
  Shoe Place	DP3 (XYZ)	12%	16%	54%
  	DP3 (XYZ+RGB)	13%	20%	35%
  Average	DP3 (XYZ)	20.15%	36.46%	53.23%
  	DP3 (XYZ+RGB)	17.93%	29.33%	45.93%

常见问题

• 退出Python进程: 如果无法使用 Ctrl + C 退出，尝试使用 Ctrl + 。
• Vulkan稳定性问题: 在某些离屏设备上不稳定，尝试重新连接 ssh -X ...。
• 其他常见问题: 参见 COMMON_ISSUE.md。

引用

@article{mu2024robotwin, title={RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)}, author={Mu, Yao and Chen, Tianxing and Peng, Shijia and Chen, Zanxin and Gao, Zeyu and Zou, Yude and Lin, Lunkai and Xie, Zhiqiang and Luo, Ping}, journal={arXiv preprint arXiv:2409.02920}, year={2024} }

搜集汇总

数据集介绍

构建方式

RoboTwin数据集通过双臂机器人执行一系列任务并收集数据构建而成。数据收集过程包括运行专家检查以确保仅收集成功的数据，并通过种子逐一验证。收集的数据以.pkl格式存储在根目录下的`data`文件夹中。数据收集配置位于`config`文件夹中，每个任务都有对应的配置文件，涵盖渲染频率、数据收集开关、相机参数、点云数据处理等关键参数。

使用方法

使用RoboTwin数据集时，用户可以通过运行`run_task.sh`脚本来执行任务并收集数据。数据收集后，用户可以根据需要修改配置文件中的参数，如渲染频率、数据收集开关等。此外，用户还可以通过`script/eval_policy.py`脚本加载自定义策略进行评估，并通过`script/pkl2zarr_dp3.py`脚本处理数据以进行DP3训练。

背景与挑战

背景概述

RoboTwin数据集是由Yao Mu、Tianxing Chen等研究人员于2024年创建的，旨在为双臂机器人提供一个包含生成式数字孪生的基准测试平台。该数据集的核心研究问题集中在双臂机器人在复杂任务中的表现，特别是通过生成式数字孪生技术来增强机器人的操作能力。RoboTwin数据集的创建不仅推动了机器人领域的研究进展，还为未来的机器人智能化提供了重要的实验基础。该数据集已被ECCV Workshop 2024（Oral）接受，展示了其在学术界的影响力。

当前挑战

RoboTwin数据集在构建过程中面临多项挑战。首先，双臂机器人在执行复杂任务时需要处理高度动态的环境，这对数据采集和任务配置提出了高要求。其次，生成式数字孪生的引入增加了数据处理的复杂性，尤其是在点云数据的下采样和6D姿态估计方面存在技术难题。此外，数据集的多样性和任务的广泛性也带来了算法适应性和泛化能力的挑战。最后，如何在有限的计算资源下高效地训练和评估模型，也是该数据集面临的一个重要问题。

常用场景

经典使用场景

RoboTwin数据集在双臂机器人领域中被广泛用于任务执行和数据收集。通过运行`run_task.sh`脚本，用户可以执行特定任务并收集成功数据，这些数据以`.pkl`格式存储。数据集配置文件中包含多个参数，如渲染频率、数据收集开关、相机参数等，这些参数的灵活设置使得数据集在不同任务场景中具有高度的适应性。

解决学术问题

RoboTwin数据集解决了双臂机器人在复杂任务执行中的数据收集和验证问题。通过提供高质量的点云数据和6D姿态信息，该数据集为研究者提供了一个标准化的基准，用于评估和改进机器人控制算法。其生成的数字孪生模型进一步推动了机器人仿真与现实世界之间的无缝对接，为机器人学的研究提供了新的视角和方法。

实际应用

在实际应用中，RoboTwin数据集被广泛用于工业自动化、仓储物流和家庭服务机器人等领域。通过训练和评估基于该数据集的策略模型，机器人能够在复杂环境中执行高精度操作，如物品抓取、堆叠和放置等任务。此外，数据集的数字孪生功能使得机器人能够在虚拟环境中进行预训练和调试，从而显著提高了实际部署的效率和成功率。

数据集最近研究

最新研究方向

在机器人与人工智能交叉领域，RoboTwin数据集的最新研究方向聚焦于双臂机器人与生成式数字孪生的结合，旨在通过高精度的数字孪生模型提升机器人任务执行的效率与准确性。该数据集不仅为机器人操作任务提供了丰富的基准测试数据，还通过引入生成式模型，推动了机器人行为预测与仿真技术的前沿发展。其研究成果已在ECCV 2024 Workshop上以口头报告形式展示，显示出其在机器人学与计算机视觉领域的深远影响。