lerobot_yao_dataset_a

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含50个任务片段，共计17868帧数据，数据总大小为100MB，视频文件总大小为200MB，帧率为30fps。数据集结构包括动作和观察数据，动作数据包含6个关节位置信息，观察数据包括状态信息和两个视角的视频数据（前视和侧视），视频分辨率为480x640，格式为AV1编码的MP4文件。数据集以parquet格式存储，适用于机器人控制、行为模仿等任务。数据集采用Apache 2.0许可证。This dataset was created by LeRobot, primarily intended for use in the field of robotics. It contains 50 task segments, with a total of 17,868 data frames. The total size of the non-video data is 100 MB, while the total size of the video files is 200 MB, at a frame rate of 30 fps. The dataset structure includes two main categories of data: action data and observation data. The action data contains information on six joint positions. The observation data covers state information and video data from two perspectives: front view and side view. The videos have a resolution of 480x640 and are stored as AV1-encoded MP4 files. The dataset is saved in Parquet format and is applicable to tasks such as robot control and behavior cloning. It is licensed under the Apache 2.0 license.

原始信息汇总

Nebliss/lerobot_yao_dataset_a 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集规模与结构

• 总情节数: 50
• 总帧数: 17977
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据格式: Parquet
• 视频格式: MP4 (AV1 编码)
• 数据分割: 训练集 (0:50)

数据特征

动作空间

• 名称: action
• 数据类型: float32
• 形状: [6]
• 维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测空间

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 维度名称: 与动作空间相同

图像观测

前视摄像头 (observation.images.front):

• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 640 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 通道数: 3
  • 无音频

侧视摄像头 (observation.images.side):

• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息: 与前视摄像头相同

元数据

• 时间戳: timestamp (float32, 形状 [1])
• 帧索引: frame_index (int64, 形状 [1])
• 情节索引: episode_index (int64, 形状 [1])
• 索引: index (int64, 形状 [1])
• 任务索引: task_index (int64, 形状 [1])

技术信息

• 代码库版本: v3.0
• 机器人类型: so_follower
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

可视化

• 可视化地址: https://huggingface.co/spaces/lerobot/visualize_dataset?path=Nebliss/lerobot_yao_dataset_a

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX 引用: 未提供

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法发展的基石。lerobot_yao_dataset_a依托LeRobot平台构建，其数据采集过程涵盖了50个完整任务片段，总计17977帧观测记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。该数据集整合了机器人关节状态与多视角视觉信息，通过30帧每秒的同步录制，精准捕捉了机械臂执行任务时的动态过程，为模仿学习与强化学习研究提供了丰富的训练素材。

特点

该数据集在机器人操作任务中展现出鲜明的多模态特性。其核心特征在于同时包含了六自由度机械臂的关节位置动作与状态观测，以及前置与侧置双视角的RGB视频流，视频分辨率统一为640x480。数据结构层次分明，通过帧索引、片段索引等元数据实现了时序对齐，便于研究者提取连续决策轨迹。数据以Apache 2.0协议开源，兼具规模适中与格式规范的优势，尤其适合用于端到端机器人策略学习的模型训练与验证。

使用方法

对于希望利用该数据集的研究者，可通过HuggingFace数据集库直接加载，其标准化的接口支持流式读取与分块访问。数据已预设训练集划分，涵盖全部50个任务片段。使用者可依据特征描述中的字段，便捷地提取动作、状态观测及同步的视频帧序列，进而构建状态-动作对用于行为克隆或离线强化学习。数据集页面提供的可视化工具，允许直观浏览视频内容与对应机器人状态，辅助数据理解与预处理流程。

背景与挑战

背景概述

在机器人学习领域，高质量、多模态的演示数据集对于推动模仿学习与强化学习算法的进步至关重要。lerobot_yao_dataset_a作为LeRobot项目框架下的产物，由Hugging Face社区贡献者构建，专注于解决机器人操作任务中的技能获取问题。该数据集采集自so_follower型机器人平台，包含50个完整任务片段，总计近一万八千帧的多视角视觉观测与六自由度关节动作数据，其核心研究目标在于为端到端机器人策略学习提供真实世界的交互轨迹，以促进通用机器人智能体的发展。

当前挑战

该数据集旨在应对机器人模仿学习中从高维视觉输入到连续动作空间映射的固有挑战，其难点在于如何处理多摄像头视角下的时序一致性，以及如何从演示中提取鲁棒且可泛化的策略表示。在构建过程中，挑战主要集中于大规模机器人数据的高效采集与标注，包括确保动作与观测的精确同步、管理视频与状态数据的庞大体量，以及在Apache 2.0许可下实现数据的标准化与可复现性，同时克服真实环境中传感器噪声与机械不确定性的干扰。

常用场景

经典使用场景

在机器人学习领域，lerobot_yao_dataset_a数据集以其丰富的多模态数据为机器人模仿学习提供了经典范例。该数据集包含来自so_follower机器人的50个完整交互序列，涵盖关节位置状态、前视与侧视图像视频流，以及精确的时间戳信息。研究者能够利用这些同步记录的状态与视觉观测，训练机器人从人类演示中学习复杂的操作技能，实现端到端的策略生成。

解决学术问题

该数据集有效应对了机器人模仿学习中数据稀缺与多模态对齐的核心挑战。通过提供大规模、高质量的真实机器人交互轨迹，它支持研究者探索状态-动作映射、视觉-运动协调等关键问题。其结构化特征设计促进了模仿学习、强化学习及视觉伺服控制等算法的公平比较与性能评估，为机器人自主技能习得提供了可靠的基准平台。

衍生相关工作

围绕该数据集，学术界已衍生出多项经典研究工作，主要集中在视觉-运动策略学习、跨模态表示对齐等领域。例如，基于其多视角视频流与关节状态数据，研究者开发了端到端的视觉模仿网络，实现了从原始像素到连续动作的直接映射。此外，该数据集也被用于验证离线强化学习、行为克隆等算法在真实机器人平台上的泛化能力，推动了数据高效型机器人学习方法的进展。