super_poulain_full_tool9

该数据集是一个机器人操作数据集，使用LeRobot平台创建。数据集包含50个完整的操作序列（episodes），总计32650帧数据，帧率为30fps。数据以Parquet文件格式存储，并包含对应的MP4视频文件。数据集记录了名为“omx_follower”的机器人的操作数据。每个数据样本包含机器人的动作指令（6维浮点数组，控制肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、机器人当前状态观测（与动作相同的6维关节位置）、来自前置摄像头和腕部摄像头的RGB图像观测（分辨率均为480x640）、时间戳、帧索引、episode索引、任务索引等字段。该数据集适用于机器人模仿学习、强化学习、视觉运动策略学习等任务，特别是针对多关节机械臂的操控任务。数据集采用Apache 2.0许可证发布。

This dataset is a robotic manipulation dataset created using the LeRobot platform. It contains 50 complete operation sequences (episodes), totaling 32,650 frames of data at a frame rate of 30fps. The data is stored in Parquet file format and includes corresponding MP4 video files. The dataset records the operational data of a robot named omx_follower. Each data sample includes the robots action commands (a 6-dimensional floating-point array controlling shoulder translation, shoulder lift, elbow bending, wrist bending, wrist rotation, and gripper position), the robots current state observations (6-dimensional joint positions identical to the actions), RGB image observations from a front camera and a wrist camera (both with a resolution of 480x640), as well as fields such as timestamps, frame index, episode index, and task index. This dataset is suitable for tasks such as robotic imitation learning, reinforcement learning, and visual-motor policy learning, particularly for manipulation tasks involving multi-joint robotic arms. The dataset is released under the Apache 2.0 license.

原始信息汇总

数据集概述

数据集名称：super_poulain_full_tool9

许可证：Apache-2.0

任务类别：机器人学 (Robotics)

标签：LeRobot

数据集结构

• 机器人类型：omx_follower
• 总片段数：50
• 总帧数：32650
• 总任务数：1
• 块大小：1000
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 帧率：30 FPS
• 数据集划分：
  • 训练集：片段 0 至 49（共50个片段）

数据特征

该数据集包含以下特征：

1. 动作 (action)：

   • 数据类型：float32
   • 形状：[6]
   • 名称：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

2. 观测状态 (observation.state)：

   • 数据类型：float32
   • 形状：[6]
   • 名称：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

3. 前视摄像头图像 (observation.images.front)：

   • 数据类型：视频
   • 形状：480x640x3（高x宽x通道）
   • 视频编码：av1
   • 帧率：30 FPS

4. 腕部摄像头图像 (observation.images.wrist)：

   • 数据类型：视频
   • 形状：480x640x3（高x宽x通道）
   • 视频编码：av1
   • 帧率：30 FPS

5. 时间戳 (timestamp)：

   • 数据类型：float32
   • 形状：[1]

6. 帧索引 (frame_index)：

   • 数据类型：int64
   • 形状：[1]

7. 片段索引 (episode_index)：

   • 数据类型：int64
   • 形状：[1]

8. 索引 (index)：

   • 数据类型：int64
   • 形状：[1]

9. 任务索引 (task_index)：

   • 数据类型：int64
   • 形状：[1]

数据存储路径

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据集创建

该数据集使用 LeRobot 创建。

搜集汇总

数据集介绍

构建方式

super_poulain_full_tool9数据集基于LeRobot框架构建，专注于机器人操作领域。该数据集通过遥操作方式采集，使用omx_follower型机器人执行单一任务，共收录50个完整轨迹片段，总计32650帧数据。数据以Parquet格式存储动作与状态信息，同时以AV1编码的MP4视频文件记录前视与腕部两个视角的视觉观测，帧率为30fps。数据集结构设计清晰，采用分块存储策略，每块含1000帧数据，便于高效加载与管理。

特点

该数据集具有鲜明的多模态特性，同时包含6维关节动作指令（涵盖肩部、肘部、腕部及夹爪的位置信息）与对应状态观测，以及640×480分辨率的前视和腕部双路视频流。全部50个轨迹均用于训练，无需额外划分验证集，简化了使用流程。数据以Apache-2.0许可证发布，支持学术研究与工业应用，为模仿学习、行为克隆等机器人学习算法提供了高质量的示范数据。

使用方法

使用者可通过LeRobot库直接加载该数据集，利用其标准接口访问动作、状态与图像信息。数据集支持按轨迹索引或帧索引进行抽取，便于构建训练批次。Parquet格式的数据文件可与PyTorch、TensorFlow等主流深度学习框架无缝集成，视频数据则通过LeRobot内置的解码器实时读取。用户可在HuggingFace Spaces上通过可视化工具直观浏览轨迹回放，辅助数据质量审查与算法调试。

背景与挑战

背景概述

super_poulain_full_tool9数据集由研究团队利用LeRobot框架创建，专为机器人操作任务设计，聚焦于通过模仿学习实现机械臂的精准控制。该数据集收录了50个演示片段，共计32650帧，涵盖六自由度关节空间的状态与动作，并配备前视与腕部双目视觉输入，为机器人技能学习提供了多模态对齐的基准资源。其发布遵循Apache-2.0许可，意在推动开源社区在机器人模仿学习与行为克隆领域的研究进展，尤其为低成本硬件平台（如OMX机械臂）上的算法验证与迁移提供了标准化数据支撑。

当前挑战

该数据集的核心挑战在于解决机器人操作任务中的域迁移与泛化问题：单一任务（total_tasks=1）的设置限制了模型对新操作的适应能力，而演示规模（50个片段）相对有限，易导致过拟合。构建过程中，视觉数据（AV1编码）与运动控制信号的时空同步、关节角度的高精度标定、以及多视角视频（480×640分辨率）与低频状态数据（30Hz）的融合处理，均构成技术瓶颈。此外，数据采集依赖遥操作示教，人机交互的噪声与演示策略的差异性进一步增加了跨环境泛化的难度。

常用场景

经典使用场景

在机器人学习领域，super_poulain_full_tool9数据集以其精细化的多模态数据记录而著称。该数据集聚焦于单一操作任务，通过50个完整演示片段采集了超过32000帧动作序列，涵盖了六自由度机械臂与夹爪的协同运动。同时，数据集同步提供了来自前视和腕部双视角的高清视觉流，为模仿学习与视觉运动策略研究提供了理想的数据基石。研究者常利用此数据集训练端到端的操作模型，如行为克隆或扩散策略，使机器人学会复现精细的操控动作。

解决学术问题

该数据集回应了机器人操作学习中数据稀缺与泛化性弱的双重困境。通过高频率采样的动作状态与多视角视觉信息，它允许学术工作在控制变量条件下深入探索视觉-运动对齐机制。研究者得以系统地评测模型在单一任务上的复现精度与鲁棒性。这项工作为解决从人类演示到机器人技能迁移的瓶颈问题提供了标准化基准，推动了模仿学习在真实机器人平台上的有效验证与理论深化。

衍生相关工作

基于super_poulain_full_tool9数据集，衍生出了一系列融合视觉与动作表征的经典工作。例如，研究者在LeRobot框架上构建了基于扩散策略的动态运动生成方法，并利用该数据集验证了多帧时序建模的优势。另有工作引入对比学习来强化状态空间的语义一致性，从而提升模型对新物体姿态的泛化能力。此外，该数据集还被用作基准，评估轨迹分割与子目标发现算法在细粒度操作任务中的表现，推动了机器人技能分解研究的发展。