example_data_fastumi_pro_raw

FastUMI（快速通用操作接口）是一个用于通用机器人操作任务的数据集和接口框架，旨在支持硬件无关、可扩展且高效的数据收集和模型训练。该数据集包含约15万条真实世界的操作轨迹，可用于大规模视觉-语言-动作（VLA）模型的训练，并展示了多任务泛化能力。数据集提供了多种类型的数据，包括多视角RGB图像、SLAM位姿轨迹、Vive跟踪系统位姿、时间飞行点云数据、夹具传感器读数和融合轨迹数据。

原始信息汇总

FastUMI Pro 数据集概述

数据集基本信息

• 名称：FastUMI Pro Dataset
• 类型：机器人操作数据集
• 语言：英语、中文
• 标签：机器人技术、操作、VLA、轨迹数据、多模态、视觉-语言-动作
• 许可证：其他
• 任务类别：机器人技术、强化学习
• 模态：视觉+语言+动作

核心特性

FastUMI Pro增强功能

• 更高精度的轨迹数据
• 多样化体现支持，实现真正的"一脑多形态"
• 企业级就绪的流水线和全链路数据处理

FastUMI-150K

• 约150,000条真实世界操作轨迹
• 被研究合作伙伴用于大规模VLA模型训练
• 展现出显著的多任务泛化能力

数据特征

数据结构

• rgb_images：多视角RGB图像
• slam_poses：SLAM姿态轨迹
• vive_poses：Vive追踪系统姿态
• point_clouds：飞行时间点云数据
• clamp_data：夹具传感器读数
• merged_trajectory：融合轨迹数据

数据规范

数据类型与格式

数据类型	路径	形状	类型	描述
RGB图像	session_XXX/RGB_Images/Video.MP4	(frames, 1080, 1920, 3)	uint8	相机视频数据，60 FPS
SLAM姿态	session_XXX/SLAM_Poses/slam_raw.txt	(timestamps, 7)	float	UMI末端执行器姿态
Vive姿态	session_XXX/Vive_Poses/vive_data_tum.txt	(timestamps, 7)	float	Vive基站姿态
ToF点云	session_XXX/PointClouds/pointcloud_...pcd	pcd格式	pcd	飞行时间点云数据
夹具数据	session_XXX/Clamp_Data/clamp_data_tum.txt	(timestamps, 1)	float	夹具间距(mm)
融合轨迹	session_XXX/Merged_Trajectory/merged_trajectory.txt	(timestamps, 7)	float	融合轨迹(基于速度的Vive/UMI)

姿态数据格式

所有姿态数据(SLAM、Vive、融合)遵循相同格式：

• 时间戳：轨迹数据的Unix时间戳
• 位置X：X坐标(米)
• 位置Y：Y坐标(米)
• 位置Z：Z坐标(米)
• Q_X：方向四元数X分量
• Q_Y：方向四元数Y分量
• Q_Z：方向四元数Z分量
• Q_W：方向四元数W分量

工具链

开发工具

• 单臂演示回放：单臂数据回放代码
• 双臂演示回放：双臂数据回放代码
• 硬件SDK：FastUMI硬件开发工具包
• 监控工具：实时设备监控
• 数据收集：数据收集实用工具

数据下载

示例数据集下载命令

bash

直接下载

huggingface-cli download FastUMIPro/example_data_fastumi_pro_raw --repo-type dataset --local-dir ~/fastumi_data/

镜像下载(推荐)

export HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --repo-type dataset --resume-download FastUMIPro/example_data_fastumi_pro_raw --local-dir ~/fastumi_data/

协作与联系

• 数据集可用性：可用于研究协作
• 完整数据集：FastUMI-150K已提供给合作伙伴研究团队进行大规模模型训练
• 联系人：Ding Yan
• 邮箱：[e-mail]
• 微信：Duke_dingyan

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，FastUMI Pro数据集通过多模态传感器融合技术构建而成。数据采集过程采用标准化硬件原型系统，同步记录多视角RGB图像、SLAM位姿轨迹、Vive追踪系统数据、飞行时间点云以及夹具传感器读数。每个操作会话构成独立的交互片段，通过精密的时间戳对齐机制确保多源数据的时空一致性。融合轨迹数据基于速度特征智能选择最优追踪源，形成完整操作序列。

使用方法

研究者可通过HuggingFace平台直接下载数据集，或利用镜像服务获取数据资源。数据按会话层级组织，每个会话包含独立的观察数据与动作序列。配套工具链提供单臂与双臂演示回放代码、硬件开发套件及实时监控工具。数据集适用于视觉-语言-动作模型训练，支持大规模多任务泛化研究，可通过标准化数据格式与现有机器人学习框架无缝集成。

背景与挑战

背景概述

机器人操作领域长期面临数据稀缺与系统异构性难题，FastUMI Pro数据集由LumosBot技术团队于2024年推出，旨在构建通用操作接口框架。该数据集聚焦多模态感知与动作轨迹的协同学习，通过整合视觉、语言与动作数据，推动机器人实现跨任务泛化能力。其包含的15万条真实世界操作轨迹，为视觉-语言-动作模型训练提供了规模化基础，显著提升了工业场景下的操作精度与适应性。

当前挑战

在机器人操作任务中，多模态数据的时间同步与空间标定构成核心挑战，需解决视觉图像、SLAM位姿与点云数据的精确对齐问题。数据集构建过程中面临传感器异构性整合难题，包括Vive追踪系统与UMI末端执行器的坐标系统一，以及高帧率RGB视频与低频轨迹数据的插值融合。此外，企业级应用要求数据管道具备实时处理能力，这对多源传感数据的并行采集与存储架构提出了严苛要求。

常用场景

经典使用场景

在机器人操作研究领域，FastUMI Pro数据集作为通用操作接口框架的核心资源，其最经典的应用场景在于训练视觉-语言-动作多模态模型。该数据集通过15万条真实世界操作轨迹，为机器人学习复杂操作技能提供了丰富样本，涵盖多视角RGB图像、高精度轨迹数据和点云信息等多维感知输入，有效支撑了从感知到动作的端到端学习范式。

解决学术问题

该数据集主要解决了机器人操作研究中硬件依赖性强、数据标准化不足等关键问题。通过提供硬件无关的标准化数据格式，显著降低了跨平台算法验证的难度；其融合SLAM与Vive系统的轨迹数据为运动规划研究提供了精准基准，而多任务泛化能力的验证则推动了通用操作智能体的理论发展，对具身智能领域的算法创新具有重要奠基意义。

实际应用

在工业自动化场景中，该数据集支撑的VLA模型已应用于智能装配线中的灵巧操作任务。基于多模态数据训练的机器人能够理解自然语言指令，完成精密零部件抓取与装配；物流分拣系统则利用其轨迹学习能力实现动态环境下的自适应抓取。这些应用显著提升了生产流程的智能化水平，为制造业数字化转型提供了技术支撑。

数据集最近研究

最新研究方向

在机器人操作领域，FastUMI Pro数据集正推动通用操作界面的前沿探索。其融合视觉-语言-动作的多模态特性，为大规模VLA模型训练提供了真实世界轨迹数据支撑，助力实现跨硬件平台的统一控制范式。当前研究聚焦于多任务泛化能力的提升，通过高精度轨迹数据与多样化本体支持，构建具备环境感知与自主决策能力的智能操作系统，为工业自动化与服务机器人发展奠定数据基石。