BRMData

一个专为家庭应用设计的双手机器人操作数据集。

A dual-arm robot manipulation dataset designed specifically for household applications.

原始信息汇总

BRMData 数据集概述

数据集描述

BRMData 是一个专为家庭应用设计的双手机器人操作数据集。

环境设置

1. 下载数据集 python git clone https://github.com/Louis-ZhangLe/BRMData.git

2. 编译 python cd cobot_magic/remote_control ./tools/build.sh

   cd cobot_magic/camera_ws catkin_make

测试

1. 设置规则 python ls /dev/ttyACM* udevadm info -a -n /dev/ttyACM* | grep serial -m 1 sudo vim /etc/udev/rules.d/arx_can.rules sudo udevadm control --reload && sudo udevadm trigger

2. 启动远程机械臂 python cd remote_control ./tools/can.sh cd master1 source devel/setup.bash roslaunch arm_control arx5v.launch

数据收集

1. 启动 roscore python roscore

2. 激活机械臂和相机 python ./tools/remote.sh

3. 收集数据 python python collect_data.py --max_timesteps 500 --dataset_dir ./data --episode_idx 0

模型训练和推理

1. 激活环境 python conda activate aloha

2. 训练模型 python python act/train.py --dataset_dir ~/data0314/ --ckpt_dir ~/train0314/ --batch_size 4 --num_epochs 3000

3. 推理 python cd remote_control ./tools/puppet.sh python act/inference.py --ckpt_dir ~/train0314/

方法

数据集将更新多种机器人操作方法，包括 MT-ACT 等。涉及的方法和模型如下：

• Action Chunking with Transformers (ACT)
• Diffusion Policy (DP)
• Multi-Task ACT (MT-ACT)
• Efficientnet-B3
• R3m

许可证

BRMData 数据集采用 MIT 许可证。

引用

如果该数据集对您有帮助，请考虑引用我们的论文： cite @inproceedings{zhang2024empowering, author = {Zhang, Tianle and Li, Dongjiang and Li, Yihang and Zeng, Zecui and Zhao, Lin and Sun, Lei and Chen, Yue and Wei, Xuelong and Zhan, Yibing and Li, Lusong and He, Xiaodong}, title = {Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks}, booktitle = {arXiv}, year = {2024}, }

搜集汇总

数据集介绍

构建方式

在构建BRMData数据集的过程中，研究团队精心设计了数据采集流程，以确保数据的高质量和多样性。首先，通过远程控制技术激活双臂移动机器人及其摄像头系统。随后，利用Python脚本collect_data.py进行数据收集，设定最大时间步数和数据存储目录，从而系统地记录机器人在家庭应用场景中的操作行为。此方法不仅保证了数据的连续性和完整性，还为后续的模型训练提供了丰富的数据基础。

特点

BRMData数据集的显著特点在于其针对家庭应用场景的专门设计，涵盖了双臂移动机器人在复杂环境中的多种操作任务。数据集包含了机器人与环境的交互信息，以及摄像头捕捉到的视觉数据，为研究者提供了多模态的学习资源。此外，数据集的构建方法确保了数据的多样性和真实性，使得模型能够在实际应用中表现出更高的鲁棒性和适应性。

使用方法

使用BRMData数据集进行研究和开发时，首先需通过Git克隆数据集到本地环境，并按照README文件中的指导进行编译和环境设置。在数据集准备好后，用户可以通过运行collect_data.py脚本进行数据收集，或直接使用已有的数据进行模型训练和推理。训练过程中，用户可以调用train.py脚本，指定数据集目录和检查点目录，进行批量训练。推理阶段，则通过运行inference.py脚本，加载训练好的模型进行预测。

背景与挑战

背景概述

BRMData数据集是由Zhang, Tianle等人于2024年创建，专注于双臂移动机器人家庭应用的操控任务。该数据集由多个研究机构和研究人员共同开发，旨在为家庭环境中的机器人操作提供丰富的数据支持。核心研究问题包括如何有效地训练机器人执行复杂的家庭任务，如物品搬运、整理等。BRMData的发布对机器人学领域具有重要意义，为研究人员提供了一个标准化的数据集，以推动双臂移动机器人在实际应用中的性能提升。

当前挑战

BRMData数据集在构建过程中面临多项挑战。首先，数据采集涉及复杂的机器人硬件和软件系统，需要确保机器人和摄像头的同步操作，以及数据的准确性和一致性。其次，家庭环境中的任务多样性和复杂性增加了数据集的构建难度，要求机器人能够处理各种不同的物体和场景。此外，数据集的多样性和规模也是一大挑战，需要涵盖多种任务和场景以确保模型的泛化能力。最后，数据集的标注和处理需要大量的时间和资源，以确保数据的高质量和高可用性。

常用场景

经典使用场景

在家庭应用领域，BRMData数据集被广泛用于双臂移动机器人操作任务的研究与开发。该数据集通过模拟家庭环境中的各种操作任务，如物品抓取、放置和移动，为研究人员提供了一个丰富的数据资源。通过这些数据，研究人员可以训练和验证机器人操作算法，从而提升机器人在复杂家庭环境中的操作能力。

实际应用

在实际应用中，BRMData数据集为家庭服务机器人提供了强大的数据支持。通过训练基于该数据集的模型，机器人能够在家庭环境中执行复杂的操作任务，如整理房间、搬运物品等。这不仅提高了机器人的实用性，还为智能家居和家庭服务领域的发展提供了技术基础。

衍生相关工作

BRMData数据集的发布催生了一系列相关研究工作。例如，基于该数据集的Action Chunking with Transformers (ACT)方法，通过引入Transformer架构，显著提升了机器人操作的效率和准确性。此外，Diffusion Policy (DP)和Multi-Task ACT (MT-ACT)等方法也在该数据集上进行了验证，进一步推动了机器人操作领域的研究进展。