robotwin_dataset
收藏资源简介：
RoboTwin数据集是一个双臂机器人任务基准，包含生成式数字双胞胎。该数据集用于机器人研究，包括数据收集、任务配置、策略部署和数字双胞胎生成。README文件提供了安装说明、使用指南和一个显示不同算法在各种任务上性能的排行榜。该数据集已被ECCV Workshop 2024（口头报告）接受。
The RoboTwin dataset is a dual-arm robotic task benchmark that includes generative digital twins. This dataset is designed for robotics research, covering data collection, task configuration, policy deployment, and digital twin generation. The accompanying README file provides installation instructions, usage guidelines, and a leaderboard that showcases the performance of different algorithms across various tasks. This dataset has been accepted by ECCV Workshop 2024 (oral presentation).
RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins
数据集概述
- 名称: RoboTwin
- 版本: 早期版本
- 发布机构: Yao Mu, Tianxing Chen, Zanxin Chen, Shijia Peng, Zeyu Gao, Zhiqian Lan, Yude Zou, Lunkai Lin, Zhiqiang Xie, Ping Luo
- 许可证: MIT
- 发布会议: ECCV Workshop 2024 (Oral)
- 相关链接:
数据集任务
- 任务信息: 即将发布
数据集使用
1. 任务运行与数据收集
-
运行任务: 使用
run_task.sh脚本运行任务 bash bash run_task.sh ${task_name} ${gpu_id} -
数据收集: 数据将收集到根目录下的
data文件夹中，通常以.pkl格式存储。
2. 任务配置
- 配置文件: 位于
config文件夹中，对应每个任务的配置。 - 重要参数:
- render_freq: 设置为0表示不渲染，设置为10表示每10帧渲染一次。
- collect_data: 设置为True时启用数据收集。
- camera_w,h: 相机参数，共有4个相机，分别位于手腕和顶部、正面。
- pcd_crop: 是否裁剪点云数据以去除桌面和墙壁等元素。
- pcd_down_sample_num: 使用FPS方法对点云数据进行下采样，设置为0表示保留原始点云数据。
- data_type/endpose: 末端执行器的6D姿态。
- data_type/qpos: 表示关节动作。
- observer: 是否保存观察者视角的照片以便于观察。
3. 部署策略
- 策略文件: 位于
envs/base_task.py中，搜索TODO并修改代码以加载自定义策略。 - 评估策略: 修改
script/eval_policy.py以加载模型进行评估。 bash bash script/run_eval_policy.sh ${task_name} ${gpu_id}
4. DP3作为基线
-
DP3代码: 位于
policy/3D-Diffusion-Policy中。 -
数据处理: 收集数据后，运行
script/pkl2zarr_dp3.py进行数据处理。 bash python script/pkl2zarr_dp3.py -
训练DP3: 进入
policy/3D-Diffusion-Policy目录，运行train.sh脚本进行训练。 bash bash train.sh ${task_name} ${expert_data_num} ${gpu_id} -
评估DP3: 运行
eval.sh脚本进行评估。 bash bash eval.sh ${task_name} ${expert_data_num} ${gpu_id}
数据集性能
- 当前排行榜:
Task Algorithm 10 demos 20 demos 50 demos Apple Cabinet Storage DP3 (XYZ) 41% 59% 75% DP3 (XYZ+RGB) 22% 41% 60% Block Handover DP3 (XYZ) 55% 89% 70% DP3 (XYZ+RGB) 48% 81% 94% Block Stack (Easy) DP3 (XYZ) / / / DP3 (XYZ+RGB) 0% 1% 23% Container Place DP3 (XYZ) 34% 54% 68% DP3 (XYZ+RGB) 18% 28% 54% Dual Bottles Pick (Easy) DP3 (XYZ) 10% 48% 78% DP3 (XYZ+RGB) 9% 41% 75% Empty Cup Place DP3 (XYZ) 3% 30% 73% DP3 (XYZ+RGB) 7% 23% 82% Pick Apple Messy DP3 (XYZ) 2% 2% 9% DP3 (XYZ+RGB) 2% 3% 25% Shoes Place DP3 (XYZ) 2% 1% 12% DP3 (XYZ+RGB) 0% 0% 5% Block Hammer Beat DP3 (XYZ) 37% 45% 60% DP3 (XYZ+RGB) 36% 41% 73% Block Sweep DP3 (XYZ) 49% 80% 96% DP3 (XYZ+RGB) 70% 98% 99% Block Stack (Hard) DP3 (XYZ) / / / DP3 (XYZ+RGB) 0% 0% 3% Diverse Bottles Pick DP3 (XYZ) 3% 12% 38% DP3 (XYZ+RGB) 0% 1% 7% Dual Bottles Pick (Hard) DP3 (XYZ) 13% 29% 46% DP3 (XYZ+RGB) 11% 26% 48% Mug Hanging DP3 (XYZ) 1% 9% 13% DP3 (XYZ+RGB) 1% 2% 6% Shoe Place DP3 (XYZ) 12% 16% 54% DP3 (XYZ+RGB) 13% 20% 35% Average DP3 (XYZ) 20.15% 36.46% 53.23% DP3 (XYZ+RGB) 17.93% 29.33% 45.93%
常见问题
- 退出Python进程: 如果无法使用
Ctrl + C退出，尝试使用Ctrl +。 - Vulkan稳定性问题: 在某些离屏设备上不稳定，尝试重新连接
ssh -X ...。 - 其他常见问题: 参见 COMMON_ISSUE.md。
引用
@article{mu2024robotwin, title={RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins (early version)}, author={Mu, Yao and Chen, Tianxing and Peng, Shijia and Chen, Zanxin and Gao, Zeyu and Zou, Yude and Lin, Lunkai and Xie, Zhiqiang and Luo, Ping}, journal={arXiv preprint arXiv:2409.02920}, year={2024} }
