mantis_abs_joint_abs_joint_30hz

该机器人数据集使用LeRobot框架创建，旨在为机器人学习任务提供示范数据。数据集包含来自UR5机械臂的100个完整任务执行序列（episodes），共计62,815个时间步（帧），采样频率为30 Hz。数据以分块Parquet文件形式组织，总数据量约100 MB，并包含约200 MB的配套视频文件。数据内容为多模态观测-动作对：观测包括来自两个摄像头（前置摄像头和腕部摄像头）的RGB视频流，分辨率均为480x640；以及一个7维浮点向量表示的机器人本体状态。动作由一个7维浮点向量表示。每个数据点还包含时间戳、帧索引、episode索引、任务索引等元数据。该数据集适用于机器人模仿学习、行为克隆、视觉运动策略学习等研究任务。

原始信息汇总

数据集概述

• 数据集名称：mantis_abs_joint_abs_joint_30hz
• 许可证：Apache-2.0
• 任务类别：机器人学（robotics）
• 标签：LeRobot, ur5, gello

数据集来源

• 创建工具：使用 LeRobot 创建
• 论文：暂无
• 主页：暂无

数据集结构

• 代码库版本：v3.0
• 机器人类型：ur5
• 总片段数（episodes）：100
• 总帧数（frames）：62815
• 总任务数：1
• 分块大小（chunks size）：1000
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 帧率（fps）：30
• 数据划分：全部100个片段用于训练（train: 0:100）

特征（Features）

特征名称	数据类型	形状	描述
observation.images.front	视频	480 x 640 x 3	前方摄像头图像，AV1编码，30fps，RGB三通道
observation.images.wrist	视频	480 x 640 x 3	腕部摄像头图像，AV1编码，30fps，RGB三通道
observation.state	float32	[7]	机器人状态，7维
action	float32	[7]	动作数据，7维
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	索引
task_index	int64	[1]	任务索引

数据文件

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet（Parquet格式）
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4（MP4格式）

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，利用UR5机械臂搭配Gello系统进行数据采集，以30Hz的频率同步记录关节角度与视觉信息。数据涵盖100个演示片段，共计62815帧，每个片段通过绝对关节角度控制策略生成动作与状态序列。采集数据以Parquet格式存储状态与动作的7维浮点向量，同时以AV1编码的MP4视频保存前视与腕部双视角RGB图像，分辨率为480×640像素，确保多模态信息的完整对齐。

使用方法

使用者可借助LeRobot内置工具链高效加载该数据集：通过`pip install lerobot`后，调用`dataset = LeRobotDataset('aliy98/mantis_abs_joint_abs_joint_30hz')`即可获取训练数据。数据以分块形式组织，每块含1000帧，便于内存管理。状态与动作数据以NumPy数组形式直接读取，视频帧可通过`dataset.get_frame()`访问，适用于构建基于Transformer或扩散策略的模仿学习模型。数据集遵循Apache-2.0许可，便于学术及商业场景复现实验。

背景与挑战

背景概述

该数据集由Hugging Face社区的开发者aliy98基于LeRobot框架创建，聚焦于机器人操作领域中的运动控制与数据采集。数据集以UR5机械臂为核心平台，采用绝对关节角度（abs_joint）表示方法，以30Hz的高频采样率记录机器人动作。其核心研究问题在于如何通过高质量、精细化的运动数据，推动基于模仿学习的机器人技能获取。数据集共包含100个演示片段（episodes），总计62815帧，融合了前端与腕部摄像头提供的640×480像素视觉信息及7维关节状态数据，为机器人精密操作研究提供了多模态基础。作为LeRobot生态中的典型数据资源，该数据集在机器人学习社区中具有示范意义，尤其为低成本、可复现的机器人操控研究提供了标准化数据范本。

当前挑战

该数据集所解决的领域挑战集中于机器人模仿学习中数据稀缺与动作精度不足的问题。传统数据集往往采样率低、维度单一，难以支撑高频动作的细粒度建模，而该数据集的30Hz采样及多模态特征有效弥补了这一空白。构建过程中，挑战源自于如何在高频采集下保证视觉与状态信息的同步性与一致性，同时针对UR5机械臂的7自由度关节运动，设计出稳定且可扩展的采集管道。此外，数据在parquet格式与AV1视频编码下的高效存储与压缩，也对数据预处理及标准化流程提出了技术考验，最终通过LeRobot框架的模块化设计实现了各环节的平滑衔接。

常用场景

经典使用场景

在机器人操作学习领域，该数据集专为基于关节空间绝对位置控制的模仿学习任务而设计。它包含了由UR5机械臂与Gello遥操作设备采集的100条高质量演示轨迹，每条轨迹以30Hz频率同步记录7维关节状态和对应的动作指令，同时提供640x480分辨率的前置与腕部视觉观测。经典使用方式是将观测序列映射至动作序列，训练端到端的策略网络，例如基于扩散策略或变换器的行为克隆模型，使机器人学会复现复杂的精细操作技能。

解决学术问题

该数据集解决了机器人学习中的一个核心难题——如何从少量演示中高效获取可泛化的操作技能。通过提供标准化、高保真度的关节空间演示数据，它使得研究者能够聚焦于模仿学习算法的泛化性与鲁棒性研究，而无需担忧数据采集的异构性问题。其影响在于推动了从简单抓取到精密装配等复杂任务的技能迁移研究，为探索数据效率更高的少样本学习方法奠定了数据基础，显著降低了机器人编程的门槛。

实际应用

在实际部署中，该数据集可用于训练服务型或工业级机械臂完成重复性精密操作，如电子元件插装、实验室试管分拣或家庭环境中的物体整理。基于此数据集训练出的策略可被直接部署至同型号的UR5机器人上，通过少量微调适配不同工作场景。此外，该数据格式兼容LeRobot生态，意味着开发者能够将其快速整合进现有的机器人控制流水线，实现从仿真到实物的零成本迁移，加速机器人自动化解决方案的落地进程。

数据集最近研究

最新研究方向

在机器人操作学习的前沿领域，基于人类示教的高频关节角数据集正成为推动模仿学习与行为克隆算法突破的关键资源。该数据集以30Hz采样频率记录了UR5机械臂在执行单一任务时的100个完整轨迹，涵盖前后与腕部双视角视频、7维关节状态及对应动作，为多模态感知与策略泛化提供了高质量训练样本。其采用LeRobot框架标准化存储，并支持可视化分析，紧密契合了当下具身智能研究中以低成本、高效率方式构建机器人技能库的热点趋势。该数据的公开不仅加速了机器人操作的跨算法基准对比，也为研究噪声鲁棒性与长程动作依赖关系奠定了实证基础，标志着开放机器人数据集向精细化、标准化方向迈出的重要一步。