FastUMI_Data

收集涉及机械臂的真实世界操作轨迹数据对于开发机器人操作中的通用动作策略至关重要，然而此类数据仍然稀缺。现有方法面临高成本、劳动强度大、硬件依赖性强以及涉及SLAM算法的复杂设置要求等限制。在本工作中，我们介绍了Fast-UMI，一个接口介导的操作系统，包括两个关键组件：一个由人类操作的手持设备用于数据收集，以及一个在策略推理期间使用的机器人安装设备。我们的方法采用解耦设计，兼容各种夹持器，同时保持一致的观察视角，使得在手持设备上收集的数据训练的模型可以直接应用于真实机器人。通过直接使用现有商业硬件产品获取末端执行器姿态，我们消除了复杂SLAM部署和校准的需求，简化了数据处理。Fast-UMI提供了支持软件工具，用于高效的机器人学习数据收集和转换，促进了即插即用的功能。该系统为机器人学习数据采集提供了一个高效且用户友好的工具。Collecting real-world manipulation trajectory data involving robotic arms is critical for developing generalizable action strategies in robotic manipulation, yet such data remains scarce. Existing approaches face limitations such as high costs, labor-intensive efforts, strong hardware dependence, and complex setup requirements involving SLAM algorithms. In this work, we introduce Fast-UMI, an interface-mediated operating system consisting of two core components: a human-operated handheld device for data collection, and a robot-mounted device used during policy inference. Our method adopts a decoupled design that is compatible with various grippers while maintaining a consistent observation viewpoint, enabling models trained on data collected via the handheld device to be directly deployed on real robots. By directly using existing commercial hardware products to acquire end-effector poses, we eliminate the need for complex SLAM deployment and calibration, simplifying data processing. Fast-UMI provides supporting software tools for efficient robotic learning data collection and transformation, facilitating plug-and-play functionality. This system provides an efficient and user-friendly tool for robotic learning data acquisition.

原始信息汇总

FastUMI 数据集概述

数据集简介

FastUMI 是一个用于机器人操作学习的通用操作接口系统，旨在通过手持设备收集数据，并在机器人上执行策略推断。该系统通过解耦设计，兼容多种夹持器，并保持一致的观察视角，使得在手持设备上收集的数据可以直接应用于真实机器人。FastUMI 提供了支持软件工具，用于高效的数据收集和转换，简化了数据处理流程。

数据集内容

• 数据收集代码和数据集：包含用于数据收集的代码和实际收集的数据集。
• 数据处理细节：包括轨迹转换、夹持器宽度检测、逆运动学计算等数据处理步骤。
• 文件结构：数据集的文件结构包括视频、图像、CSV文件和HDF5文件，每个HDF5文件对应一个操作片段，包含观测数据和动作数据。

数据处理

1. 轨迹转换：将RealSense T265的原始轨迹转换为TCP（工具中心点）轨迹。
2. 夹持器宽度检测：通过ArUco标记检测夹持器宽度，并进行插值处理。
3. 逆运动学计算：将TCP数据转换为机器人臂的绝对关节角度，便于模型训练。

文件结构

plaintext data_dir/ └── dataset/ └── <task>/ ├── camera/ │ ├── temp_video_0.mp4 │ ├── temp_video_1.mp4 │ ├── ... │ └── images/ │ ├── 0.jpg │ ├── 1.jpg │ └── ... ├── csv/ │ ├── temp_trajectory.csv │ ├── temp_video_timestamps.csv │ ├── frame_timestamps.csv │ └── ... ├── states.csv ├── episode_0.hdf5 ├── episode_1.hdf5 └── ...

数据文件描述

• HDF5文件：每个文件对应一个操作片段，包含观测数据和动作数据。
  • observations/images/：存储相机图像数据。
  • observations/qpos：存储位置和方向数据。
  • action：存储动作数据。
• CSV文件：包括状态信息、轨迹数据、视频帧时间戳等。

数据集应用

FastUMI 数据集适用于机器人操作学习，特别是通用操作策略的开发。通过提供高效的数据收集和处理工具，FastUMI 简化了机器人学习数据的获取和转换过程。

搜集汇总

数据集介绍

构建方式

FastUMI_Data数据集的构建依托于Fast-UMI系统，该系统通过手持设备与机器人设备的协同工作，实现了高效的数据采集。数据采集过程中，利用Intel RealSense T265相机和GoPro摄像头捕捉轨迹与图像信息，并通过ROS（机器人操作系统）进行数据整合与处理。系统采用解耦设计，兼容多种夹持器，确保了数据采集的灵活性与一致性。通过直接获取末端执行器的姿态信息，避免了复杂的SLAM算法部署与校准，显著简化了数据处理流程。

特点

FastUMI_Data数据集以其高效性与硬件独立性著称。数据集包含丰富的机器人操作轨迹数据，涵盖末端执行器的位置、姿态以及夹持器宽度等多维度信息。数据以HDF5格式存储，支持高效的数据读取与处理。此外，数据集还提供了多种数据转换脚本，支持将原始数据转换为关节角度、TCP（工具中心点）数据以及Zarr格式，以满足不同算法的需求。数据集的模块化设计与标准化格式使其易于与其他机器人学习数据集兼容。

使用方法

使用FastUMI_Data数据集时，首先需配置ROS环境并安装相关依赖包。通过启动ROS核心节点，连接RealSense T265相机和GoPro摄像头，并运行数据采集脚本，即可开始数据采集。采集的数据可通过提供的脚本进行后处理，包括轨迹转换、夹持器宽度检测以及逆运动学计算等。处理后的数据可直接用于机器人策略训练，支持ACT模型、扩散策略等多种算法。数据集的模块化设计与详细文档使其易于集成到现有机器人学习框架中。

背景与挑战

背景概述

FastUMI_Data数据集由Zhefan-Xu及其团队于2024年发布，旨在解决机器人操作领域中真实世界轨迹数据稀缺的问题。该数据集的核心研究问题在于如何高效、低成本地收集机器人手臂的操作轨迹数据，以支持通用动作策略的开发。FastUMI系统通过手持设备和机器人设备的解耦设计，兼容多种夹持器，并保持一致的观测视角，使得基于手持设备收集的数据能够直接应用于真实机器人。该数据集的发布为机器人学习领域提供了一种高效且用户友好的数据采集工具，显著降低了复杂SLAM算法部署和校准的需求，推动了机器人操作策略的研究与应用。

当前挑战

FastUMI_Data数据集在构建过程中面临多重挑战。首先，真实世界机器人操作轨迹数据的采集通常成本高昂且劳动密集，如何在不依赖复杂硬件和SLAM算法的情况下实现高效数据采集是一个关键问题。其次，数据采集过程中需要确保手持设备与机器人设备之间的观测视角一致性，这对系统的设计和校准提出了较高要求。此外，数据处理的复杂性也是一个挑战，包括轨迹转换、夹持器宽度检测和逆运动学计算等步骤，均需精确实现以确保数据的可用性和准确性。最后，如何将采集的数据高效地转换为适用于不同算法的格式，如HDF5和Zarr，也是数据集构建过程中需要解决的技术难题。

常用场景

经典使用场景

FastUMI_Data数据集在机器人操作领域中被广泛用于收集和处理真实世界的操作轨迹数据。通过手持设备和机器人设备的结合，研究人员能够高效地获取机械臂的操作数据，这些数据对于训练通用动作策略模型至关重要。数据集的使用场景涵盖了从简单的抓取任务到复杂的多步骤操作任务，为机器人学习提供了丰富的实验数据。

解决学术问题

FastUMI_Data数据集解决了机器人操作领域中数据稀缺的问题。传统方法在数据收集过程中面临高成本、硬件依赖性强以及复杂的SLAM算法部署等挑战。该数据集通过使用商业硬件产品直接获取末端执行器的位姿，简化了数据处理流程，并提供了一个兼容多种夹持器的解耦设计，使得模型能够在手持设备收集的数据上训练后直接应用于真实机器人。

衍生相关工作

基于FastUMI_Data数据集，研究人员已经开发了多种机器人操作策略和模型。例如，该数据集被用于训练ACT模型和Diffusion Policy模型，这些模型在机器人操作任务中表现出色。此外，数据集的处理工具还被用于生成Zarr格式的训练数据，进一步推动了机器人学习领域的发展。这些相关工作不仅验证了数据集的有效性，也为未来的研究提供了坚实的基础。