record-test_Y2

该数据集由LeRobot项目创建，专为机器人学任务设计。数据集包含50个完整的情节（episodes），总计12,556帧数据，数据文件大小为100MB，视频文件大小为200MB。数据以30帧每秒的速率采集，存储为parquet格式文件。数据集包含多种特征，包括动作（action）和观察（observation）数据，其中动作数据包括6个关节位置（shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos），观察数据包括状态信息和来自三个不同视角（front, wrist, up）的图像视频数据。视频分辨率为480x640，3通道，使用h264编码。数据集适用于机器人控制、行为模仿等研究任务，采用Apache-2.0许可协议。

This dataset was created by the LeRobot project, specifically designed for robotics tasks. It contains 50 complete episodes, totaling 12,556 frames of data, with the data files totaling 100 MB and the video files totaling 200 MB. The data is collected at a rate of 30 frames per second (FPS) and stored in Parquet format files. The dataset includes multiple types of features: action data and observation data. The action data covers 6 joint positions including shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, and gripper.pos. The observation data includes state information and image/video data from three distinct perspectives: front, wrist, and up. The videos have a resolution of 480x640 with 3 channels, and are encoded using H.264. This dataset is suitable for research tasks such as robot control and behavior cloning, and is released under the Apache-2.0 license.

原始信息汇总

数据集概述

基本信息

• 数据集名称: record-test_Y2
• 发布者: amber2713
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总情节数: 50
• 总帧数: 12556
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS

数据结构与特征

• 数据格式: Parquet 文件
• 数据路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 数据划分: 训练集 (0:50)

特征字段

1. 动作

   • 数据类型: float32
   • 形状: [6]
   • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

2. 观测状态

   • 数据类型: float32
   • 形状: [6]
   • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

3. 观测图像 (前视)

   • 数据类型: 视频
   • 形状: [480, 640, 3]
   • 视频信息:
     • 高度: 480 像素
     • 宽度: 640 像素
     • 编码: h264
     • 像素格式: yuv420p
     • 非深度图
     • 帧率: 30 FPS
     • 通道数: 3
     • 无音频

4. 观测图像 (腕部)

   • 数据类型: 视频
   • 形状: [480, 640, 3]
   • 视频信息: 同前视图像

5. 观测图像 (上方)

   • 数据类型: 视频
   • 形状: [480, 640, 3]
   • 视频信息: 同前视图像

6. 时间戳

   • 数据类型: float32
   • 形状: [1]

7. 帧索引

   • 数据类型: int64
   • 形状: [1]

8. 情节索引

   • 数据类型: int64
   • 形状: [1]

9. 索引

   • 数据类型: int64
   • 形状: [1]

10. 任务索引

    • 数据类型: int64
    • 形状: [1]

元数据

• 代码库版本: v3.0
• 机器人类型: so101_follower

缺失信息

• 主页: 未提供
• 论文: 未提供
• 引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法发展的基石。record-test_Y2数据集依托LeRobot平台构建，通过so101_follower机器人采集了50个完整交互片段，共计12556帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与读取。同时，数据集配套了多视角视频流，以H.264编码的MP4格式保存，帧率为30fps，分辨率统一为640x480，为机器人状态与视觉感知的联合分析提供了坚实基础。

特点

该数据集在机器人操作任务中展现出多维度的数据表征能力。其核心特征在于同步记录了六自由度机械臂的关节位置信息，涵盖肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合等关键动作维度。视觉感知方面，数据集提供了前视、腕部与上方三个视角的RGB视频流，形成了丰富的环境观测矩阵。数据结构上，每帧数据均附有时戳、帧索引与任务索引等元信息，支持精细化的时序分析与任务建模，为端到端机器人策略学习创造了条件。

使用方法

为充分发挥该数据集在机器人学习研究中的价值，研究者可通过HuggingFace平台直接加载数据。数据集采用标准化的分块存储方案，用户可依据chunk索引与file索引定位具体数据文件。在模型训练过程中，可并行读取关节状态观测与多视角图像序列，构建状态-动作对用于监督学习或模仿学习。视频数据可通过指定路径加载，配合30fps的时序一致性，适用于动态视觉运动建模。数据集的Apache 2.0许可协议确保了其在学术与工业应用中的广泛可及性。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据集对于推动模仿学习与强化学习算法的进展至关重要。record-test_Y2数据集由HuggingFace的LeRobot项目创建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集聚焦于机械臂控制，收录了来自so101_follower机器人的50个完整交互片段，包含超过12500帧同步记录的状态、动作及多视角视觉信息。其核心研究问题在于如何构建一个结构化、可扩展的机器人交互数据集，以支持端到端策略学习模型的训练与评估，从而降低真实机器人实验的成本与门槛，对促进开源机器人社区的数据共享与算法复现具有积极意义。

当前挑战

该数据集致力于解决机器人模仿学习中的核心挑战，即如何从高维、异构的传感器数据中学习鲁棒且泛化能力强的控制策略。具体而言，挑战体现在多模态数据的对齐与融合上，例如将来自前视、腕部及顶部摄像头的视频流与连续的关节状态、动作指令在时间维度上进行精确同步。在构建过程中，数据采集面临硬件同步、存储管理以及标注一致性的难题，确保长达数十分钟的交互序列在30帧率下保持时序一致性，并将海量视频与状态数据高效压缩为结构化格式，同时维持数据的完整性与可访问性，这些都对数据工程的可靠性提出了较高要求。

常用场景

经典使用场景

在机器人学习领域，record-test_Y2数据集为模仿学习与强化学习算法的训练与评估提供了关键支持。该数据集通过记录so101_follower机器人的多视角视觉观测与关节动作数据，构建了丰富的交互轨迹，使得研究人员能够基于真实世界数据训练端到端的控制策略。其经典应用场景包括机器人跟随任务的策略学习，通过融合前视、腕部和顶部摄像头的视频流以及精确的关节状态信息，为模型提供了高维度的感知输入，从而模拟复杂环境下的决策过程。

衍生相关工作

围绕该数据集，衍生出了一系列经典研究工作，主要集中在多模态模仿学习与视觉运动策略的探索上。例如，基于LeRobot框架的研究者利用此类数据集开发了端到端的视觉伺服控制模型，将原始像素映射为关节动作。同时，该数据也支持了对比学习与表示学习方法的验证，用于提取更具泛化能力的视觉特征。这些工作不仅推动了机器人感知与控制的一体化，还为开源机器人社区提供了可复现的基准，加速了算法迭代与创新。

数据集最近研究

最新研究方向

在机器人学习领域，多模态感知与模仿学习正成为推动智能体泛化能力提升的关键路径。record-test_Y2数据集以其丰富的视觉观测数据，包括前视、腕部和顶部摄像头视频流，结合精确的关节状态与动作记录，为研究视觉-动作映射的端到端策略提供了高质量基准。当前前沿探索集中于利用此类数据集训练大规模多任务模型，旨在克服传统方法在动态环境中适应性不足的局限。随着LeRobot等开源平台的普及，社区正积极整合类似数据以构建通用机器人基础模型，这一趋势显著加速了从实验室演示到实际应用的转化进程，对实现灵活、可扩展的自主系统具有深远影响。