ASU TableTop Manipulation

ASU TableTop Manipulation 数据集由亚利桑那州立大学的研究团队创建，专注于机器人在桌面环境中的操作任务，如拾取、推动和放置物体等。该数据集包含在模拟环境和真实世界中采集的数据，旨在促进语言条件策略在机器人操作中的学习与应用。数据集包含 2400 个演示数据，其中 1600 个用于训练，400 个用于验证和测试。每个演示数据记录了机器人在执行任务时的自然语言指令、RGB 图像流、关节角度读数等信息。数据来源于模拟器 Mujoco 和真实机器人平台，涉及多种物体和操作任务。

The ASU TableTop Manipulation Dataset was created by a research team at Arizona State University, focusing on robotic manipulation tasks in tabletop environments such as picking up, pushing, and placing objects. This dataset includes data collected in both simulated and real-world environments, aiming to promote the learning and application of language-conditioned policies for robotic manipulation. The dataset contains 2400 demonstration episodes, with 1600 allocated for training, and 400 reserved for validation and testing. Each demonstration records the natural language instructions given to the robot during task execution, RGB image streams, joint angle readings, and other relevant information. The data is sourced from the Mujoco simulator and real robotic platforms, involving a variety of objects and manipulation tasks.

原始信息汇总

数据集概述

数据集名称

ModAttn

数据集简介

ModAttn 是一个用于训练语言条件操作策略的代码库，旨在通过引入层次化模块化方法和监督注意力机制，实现高效的训练和跨机器人类型的快速迁移。该数据集主要用于机器人操作任务中的模型训练。

数据集内容

• 数据收集：从模拟器中收集数据。
• 模型训练：使用专家演示数据训练模型。
• 模型部署：将训练好的模型部署回模拟器作为代理。

支持的模拟器

• Mujoco 模拟器：支持 Panda、Kinova 和 UR5 机器人。
• TinyLanguageRobots 2D 机器人模拟器：用于操作任务的 2D 机器人模拟器。

自定义模拟器

用户可以使用自己的模拟器进行训练，需提供以下内容：

• 专家演示数据。
• 自定义数据集类和数据加载器。
• 自定义训练脚本以导入自己的演示数据和数据加载器。

环境设置

bash git clone https://github.com/ir-lab/ModAttn.git pip install -r requirements.txt

训练脚本

• Mujoco 机器人训练： bash python main_mujoco_robot.py /path/to/train/set /path/to/val/set /path/to/ckpt/folder

• TinyLangRobot 机器人训练： bash python main_tiny_lang_robot.py /path/to/train/set /path/to/val/set /path/to/ckpt/folder

结果可视化

• Sim2real 迁移：展示从模拟器到真实环境的迁移效果。
• 跨机器人迁移：展示不同机器人之间的策略迁移效果。
• 避障：展示机器人在避障任务中的表现。
• 网络模块输出可视化：展示每个子模块的输出。

引用

bibtex @inproceedings{ zhou2022modularity, title={Modularity through Attention: Efficient Training and Transfer of Language-Conditioned Policies for Robot Manipulation}, author={Yifan Zhou and Shubham Sonawani and Mariano Phielipp and Simon Stepputtis and Heni Ben Amor}, booktitle={6th Annual Conference on Robot Learning}, year={2022}, url={https://openreview.net/forum?id=uCaNr6_dQB0} }

联系方式

如有任何问题，请联系 Yifan Zhou。

搜集汇总

数据集介绍

构建方式

ASU TableTop Manipulation数据集的构建基于模拟器环境中的专家演示数据，通过Mujoco和TinyLanguageRobots两种模拟器进行数据采集。数据采集过程包括在模拟器中执行机器人操作任务，并记录相关动作和语言指令。随后，这些数据被用于训练语言条件化的操作策略模型。数据集的构建不仅依赖于现有的模拟器，还支持用户自定义模拟器，只需提供相应的专家演示数据和数据加载器即可。

特点

该数据集的特点在于其模块化设计和语言条件化策略的结合。通过引入层次化模块化方法，数据集支持跨机器人类型的快速训练和策略迁移。数据集中的每个子模块通过监督注意力机制进行训练，使得模型能够在不同任务和环境中高效复用功能模块。此外，数据集还支持从模拟环境到真实环境的迁移学习，展示了其在机器人操作任务中的广泛适用性。

使用方法

使用ASU TableTop Manipulation数据集时，首先需要克隆代码库并安装所需的Python环境依赖。数据集的使用主要集中在模型训练阶段，用户可以通过运行提供的训练脚本（如main_mujoco_robot.py和main_tiny_lang_robot.py）来训练模型。训练过程中，用户需指定训练集、验证集和模型检查点的路径。对于自定义模拟器，用户需提供相应的专家演示数据，并自定义数据加载器和训练脚本。训练完成后，模型可作为代理部署回模拟器中进行进一步验证和应用。

背景与挑战

背景概述

ASU TableTop Manipulation数据集由亚利桑那州立大学的研究团队于2022年创建，旨在推动机器人操作任务中的语言条件策略研究。该数据集的核心研究问题在于如何通过模块化注意力机制，高效训练并跨不同机器人类型迁移语言条件操作策略。研究团队提出的分层模块化方法，结合监督注意力机制，成功弥合了模块化学习与端到端学习之间的鸿沟，显著提升了策略的复用性和训练效率。该数据集及相关研究成果在机器人学习领域具有重要影响力，为后续研究提供了宝贵的实验数据和理论支持。

当前挑战

ASU TableTop Manipulation数据集在解决机器人操作任务中的语言条件策略问题时，面临多重挑战。首先，语言条件策略的复杂性要求模型能够准确理解自然语言指令并将其映射到具体的操作动作，这对模型的语义理解和动作生成能力提出了极高要求。其次，数据集的构建过程中，如何高效收集并标注多样化的机器人操作数据，同时确保数据的质量和泛化能力，是一个关键难题。此外，跨机器人类型的策略迁移需要克服不同机器人动力学特性差异带来的挑战，这对模型的鲁棒性和适应性提出了更高要求。

常用场景

经典使用场景

ASU TableTop Manipulation数据集在机器人操作策略的训练与转移中扮演了关键角色。该数据集通过模拟器收集的数据，支持了语言条件策略的高效训练，使得机器人能够在不同的操作任务中快速适应和执行。特别是在使用Mujoco和TinyLanguageRobots模拟器时，数据集为研究者提供了丰富的实验环境，以验证和优化机器人操作策略。

实际应用

在实际应用中，ASU TableTop Manipulation数据集被广泛应用于机器人操作任务的自动化训练和策略优化。例如，在工业自动化领域，该数据集支持了机器人从模拟环境到实际工作环境的策略转移，显著提高了操作效率和准确性。此外，该数据集还在服务机器人领域展示了其潜力，如家庭助手机器人的操作任务训练。

衍生相关工作

基于ASU TableTop Manipulation数据集，研究者们开发了多种机器人操作策略和模型。例如，通过该数据集训练的模型已被应用于跨机器人策略转移、障碍物避让等复杂任务。这些工作不仅验证了数据集的有效性，还推动了机器人操作技术的进一步发展，为未来的研究奠定了坚实的基础。