super_poulain_full_tool3

该数据集是使用LeRobot工具创建的机器人控制数据集，专门用于omx_follower型机器人的研究与应用。数据集包含50个完整的情节（episodes），总计32,650个数据帧，采样频率为30 FPS。数据采用分块存储，包含100MB的结构化数据文件和200MB的视频文件。数据集的核心内容包括：1) 机器人动作指令（action），包含6个关节位置控制量（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；2) 观测状态（observation.state），与动作相同的6维关节位置反馈；3) 多视角视觉观测，包括前置摄像头（observation.images.front）和腕部摄像头（observation.images.wrist）的RGB视频流，分辨率均为640x480，采用AV1编码；4) 时间序列元数据，如时间戳、帧索引、情节索引和任务索引。数据集适用于机器人模仿学习、视觉伺服控制、多模态感知与控制等任务，数据以Parquet格式存储结构化信息，MP4格式存储视频流，遵循Apache-2.0开源协议。

This dataset is a robot control dataset created using the LeRobot tool, specifically designed for research and applications with the omx_follower-type robot. It contains 50 complete episodes, totaling 32,650 data frames with a sampling frequency of 30 FPS. The data is stored in chunks, including a 100MB structured data file and a 200MB video file. The core content of the dataset includes: 1) Robot action commands (action), comprising 6 joint position control variables (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper position); 2) Observation state (observation.state), which provides 6-dimensional joint position feedback identical to the actions; 3) Multi-view visual observations, including RGB video streams from a front camera (observation.images.front) and a wrist camera (observation.images.wrist), both with a resolution of 640x480 and encoded in AV1; 4) Time-series metadata, such as timestamps, frame indices, episode indices, and task indices. The dataset is suitable for tasks like robot imitation learning, visual servoing control, and multimodal perception and control. The structured information is stored in Parquet format, while video streams are stored in MP4 format, and it follows the Apache-2.0 open-source license.

原始信息汇总

数据集概述

该数据集是一个面向机器人领域的开源数据集，由 LeRobot 框架创建，采用 Apache-2.0 许可证。

数据集基本信息

• 数据集名称：super_poulain_full_tool3
• 许可证：Apache-2.0
• 任务类别：机器人学
• 创建工具：LeRobot
• 数据格式：Parquet 文件（data/*/*.parquet）

数据集规模

• 总片段数：50
• 总帧数：32,650
• 总任务数：1
• 帧率：30 FPS
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 数据划分：训练集（50个片段）

数据集内容与结构

该数据集主要包含机器人操作的演示数据，具体特征如下：

• 动作 (action)：6维浮点向量，对应机器人关节位置（shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper）。
• 观测状态 (observation.state)：6维浮点向量，与动作特征一致，表示机器人状态。
• 观测图像 (observation.images)：
  • front: 前置摄像头，分辨率 640x480，AV1 编码，30 FPS，RGB 视频。
  • wrist: 腕部摄像头，分辨率 640x480，AV1 编码，30 FPS，RGB 视频。
• 时间戳 (timestamp)：浮点数。
• 帧索引 (frame_index)：整数。
• 片段索引 (episode_index)：整数。
• 全局索引 (index)：整数。
• 任务索引 (task_index)：整数。

机器人类型

• omx_follower

其他

• 可视化：可通过 Hugging Face Spaces 进行可视化（链接：https://huggingface.co/spaces/lerobot/visualize_dataset?path=imstevenpmwork/super_poulain_draft）。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的行为数据集是推动技能习得与泛化的关键基石。super_poulain_full_tool3 数据集依托 LeRobot 框架构建，专注于记录单一任务下的机器人操作轨迹。数据集共包含 50 个完整的演示回合（episode），累积帧数达 32,650 帧，以 30 FPS 的固定帧率采集。数据以 Parquet 格式存储运动状态与动作指令，并同步录制了分辨率为 480×640 的前置与腕部双路视频流，采用 AV1 编码压缩以平衡画质与存储效率。整体数据被划分为每个 1000 帧的块（chunk），便于分布式加载与训练。

特点

该数据集最显著的特点在于其精心设计的特征对齐与结构化存储。动作与观测状态均包含 6 维关节空间信息，涵盖肩部回转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置，确保了底层运动指令的完整复现。视觉观测分为“front”与“wrist”两个视角，提供丰富的场景与末端执行器细节。此外，数据集中包含时间戳、帧索引、回合索引等元数据，所有特征均以统一的浮点或整型格式存储，便于后续的预处理与数据增强。训练集与测试集划分明确，50 个回合全部用于训练，为模仿学习等算法提供了纯净的一任务多演示数据环境。

使用方法

使用本数据集进行机器人策略训练时，推荐通过 LeRobot 库提供的标准接口进行加载。用户可调用 datasets 库读取 Parquet 文件，或利用 LeRobot 的 Dataset 类直接获取预定义的批次数据。使用前需确保视频解码环境支持 AV1 编码，并安装相应的视觉库以处理视频帧（如 OpenCV 或 PyAV）。对于模仿学习任务，可将 6 维动作与状态序列联合输入网络，同时利用双视角图像作为视觉条件。由于数据集没有额外的验证拆分，建议在训练时从 50 个回合中自行划分出少量样本用于验证。详细的元数据与数据分块结构已在 info.json 中完整记录，方便定制化采样策略。

背景与挑战

背景概述

在机器人学习领域，模仿学习已成为推动智能体高效获取复杂技能的核心范式，但其成功高度依赖于高质量、多模态的行为数据。super_poulain_full_tool3数据集正是在此背景下孕育而生，由研究者在LeRobot框架下构建，依托Apache-2.0开源许可发布，旨在为机器人操控任务提供标准化训练资源。该数据集聚焦于单任务场景，涵盖50个演示回合、共计32,650帧时序数据，通过30帧/秒的前置及腕部摄像头捕获视觉信息，并记录六维关节状态与动作指令，形成完整的“感知-决策”闭环。作为开源社区与学术研究之间的桥梁，该数据集降低了机器人行为克隆研究的门槛，推动了可复现性基准的发展，对细粒度操控策略的学习与迁移具有重要参考价值。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：机器人操控任务要求模型从高维视觉观测与连续状态空间中精准映射出六自由度动作，涉及运动学约束、抓取稳定性及实时控制等多重耦合难题，而在仅有50个演示回合的有限数据量下，策略的泛化能力极易受限。构建过程中同样存在显著困难：利用omx_follower机器人进行遥操作演示需克服力反馈缺失与延迟问题，以保证演示质量；多视角视频与关节状态数据的同步采集需精确时间戳对齐，且parquet与mp4异构格式的存储与压缩策略需在数据保真度与存储效率之间权衡，这些环节均对数据管线的鲁棒性与系统集成能力提出了严苛要求。

常用场景

经典使用场景

在机器人学与模仿学习领域，super_poulain_full_tool3数据集通过记录机械臂的六自由度关节动作序列与同步的前置、腕部视觉观测数据，为行为克隆、逆强化学习等算法提供了高保真的示范轨迹。研究者可基于50个完整回合、超过3万帧的精细运动数据，训练模型从人类示教中提炼具有泛化能力的操控策略。

实际应用

在实际工业场景中，该数据集可赋能自动装配、物料抓取等重复性任务的机器人编程，通过示教学习降低人工编程成本。借助LeRobot生态，开发者能够快速复现摄像头视角下的操作流程，并部署至商用机械臂，用于质检、分拣等半结构化环境下的适应性作业。

衍生相关工作

基于该数据集衍生的经典工作包括基于扩散策略的动作生成模型、融合深度视觉的目标导向模仿学习框架，以及利用parquet格式高效存储的多模态离线强化学习基准。这些工作进一步验证了关键点检测与运动重定向技术在机器人技能获取中的方法论价值。