LerobotDS

该数据集是使用LeRobot工具创建的机器人领域数据集，专门用于机器人学习任务。数据集包含1个完整的episode，共计896个时间步（帧），对应1个任务。数据以parquet文件格式存储，总大小约100MB，同时包含约200MB的MP4格式视频文件，视频帧率为30fps。数据集仅提供训练集划分。核心数据内容包括：机器人的动作指令（action）和当前状态观测（observation.state），两者均为6维浮点向量，具体控制机器人肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置。观测模态还包括来自顶部相机（overhead_camera）的RGB视频流，分辨率为480x640。此外，数据集提供了丰富的时间与序列元数据，如时间戳、帧索引、episode索引和任务索引，用于标识数据在时序和任务上下文中的位置。该数据集适用于机器人模仿学习、强化学习或行为克隆等任务的训练与评估。This robotics dataset was constructed using the LeRobot toolkit, and is exclusively tailored for robotics learning tasks. The dataset contains 1 complete episode, totaling 896 timesteps (frames), corresponding to 1 single task. The core data is stored in Parquet file format, with a total size of approximately 100 MB, and also includes around 200 MB of MP4-format video files with a frame rate of 30 fps. Only the training split is provided for this dataset. The core data content includes robot action commands (action) and current state observations (observation.state), both of which are 6-dimensional floating-point vectors that specifically control the robot's shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position. The observation modalities also include an RGB video stream from the overhead camera (overhead_camera), with a resolution of 480x640. In addition, the dataset provides rich temporal and sequential metadata, such as timestamps, frame indices, episode indices, and task indices, which are used to identify the position of the data within the temporal and task context. This dataset is suitable for training and evaluation of tasks such as robot imitation learning, reinforcement learning, or behavioral cloning.

原始信息汇总

数据集概述

• 数据集名称: LerobotDS
• 数据集地址: https://huggingface.co/datasets/Wkor/LerobotDS
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot

数据集结构

• 代码库版本: v3.0
• 机器人类型: so_follower
• 总片段数: 1
• 总帧数: 896
• 总任务数: 1
• 块大小: 1000
• 数据文件大小: 约100 MB
• 视频文件大小: 约200 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (train) 包含全部数据 (索引 0:1)

数据特征

特征名称	数据类型	形状	描述
action	float32	[6]	关节空间动作指令 (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper)
observation.state	float32	[6]	关节状态 (与action特征名称一致)
observation.images.overhead_camera	video	[480, 640, 3]	俯视相机视频，分辨率480x640，编码为AV1，帧率30 FPS
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

LerobotDS数据集基于LeRobot框架构建，旨在为机器人学习研究提供标准化的示范数据。数据通过遥控操作（teleoperation）方式采集，以单个机器人“so_follower”为平台，记录一个完整情节（episode），共计896帧，采样频率为30帧/秒。数据以Parquet格式存储动作序列与状态观测量，并同步保存顶部摄像头视频流（分辨率640×480，AV1编码），实现多模态数据对齐。数据集结构遵循LeRobot v3.0规范，将训练数据划分为单一训练集，每千帧为一数据块，便于分块加载与高效存取。

特点

该数据集兼具结构化与轻量化的双重优势。其核心特色在于采用统一的特征定义体系，动作与状态均包含六维关节空间参数（肩关节三自由度、肘关节、腕关节及夹爪位置），便于直接用于模仿学习或强化学习算法。视频数据以独立MP4文件存储，与时间戳、帧索引等元数据紧密关联，支持时序对齐与片段截取。数据集虽仅含单任务单情节，但通过LeRobot的标准接口，可扩展至多机器人、多任务场景，具备良好的兼容性与可复用性。

使用方法

用户可借助LeRobot库直接加载该数据集，通过指定配置文件‘default’自动映射Parquet文件与视频路径。使用过程中，建议调用LeRobot提供的可视化工具（如Hugging Face Space中的交互式界面）预览示范轨迹。对于模型训练，可将‘observation.state’与‘observation.images.overhead_camera’作为输入，以‘action’为监督信号，构造行为克隆或逆强化学习损失函数。数据分块机制支持流式读取，适合大规模机器人策略的高效训练与验证。

背景与挑战

背景概述

LerobotDS数据集由Hugging Face团队基于LeRobot开源框架创建，专为机器人操作技能学习设计。该数据集聚焦于精细动作控制领域，通过记录6自由度机械臂（so_follower）的关节位置、末端执行器状态及俯视相机视频流，为模仿学习与强化学习提供高保真训练样本。其核心研究问题在于如何利用小规模高质量示范数据（单任务、896帧）驱动机器人策略泛化，填补了标准化机器人数据采集与模型训练之间的鸿沟。作为Apache-2.0许可的开源资源，该数据集降低了机器人研究门槛，推动了灵巧操作、人机协作等领域的发展，尤其为算法从仿真环境迁移至真实场景提供了基础验证平台。

当前挑战

该数据集面临多项核心挑战：首先，在领域问题层面，机器人操作任务固有的高维度连续动作空间、部分可观测状态以及动力学随机性，使得仅依赖896帧单任务示范难以学习鲁棒策略，如何从稀疏示范中提取可泛化的控制知识仍是关键瓶颈；其次，构建过程中数据采集依赖遥操作，人为操作轨迹的噪声与不连续性可能影响模型收敛，且单一机械臂构型限制了数据多样性；此外，视频编码格式（AV1）虽然节省存储，但解码计算开销大，与高频控制需求的实时性存在冲突；最后，缺乏多任务标注和跨场景迁移验证，系统评估基准的缺失阻碍了方法间的公平对比。

常用场景

经典使用场景

LerobotDS数据集专为机器人模仿学习与行为克隆任务而设计，尤其在基于视觉的灵巧操作场景中具有标杆性地位。其核心价值在于提供高保真、多模态的演示数据，包含6自由度关节动作序列、机器人本体状态以及俯视摄像头捕捉的RGB视频流，使研究者能够构建端到端的策略网络，让机器人从人类示教中习得复杂的连续控制技能。经典用法是将观测图像和状态向量作为输入，学习从感知到动作的精准映射，从而复现如抓取、搬运等精细操作。

衍生相关工作

LerobotDS衍生了一系列开创性研究，其中最典型的是基于扩散模型的模仿学习工作，如Diffusion Policy，其在该类数据集上验证了将噪声逆向过程引入机器人动作生成的有效性。此外，借助LerobotDS中的多模态信息，学术界发展出联合视觉与状态的预训练表征学习方法，并催生了如LeRobot开源框架，使得研究人员能够轻松复现SOTA模型，推动了机器人学习社区在数据标准化与算法可复现性方面的共识构建。

数据集最近研究

最新研究方向

LerobotDS数据集作为基于LeRobot框架构建的机器人操控任务数据集，近期在模仿学习与具身智能领域引发了广泛关注。该数据集聚焦于单任务、单场景的精细化操作，记录了一台so_follower机器人在6自由度关节空间的动作序列与状态信息，并辅以俯视摄像头的高帧率视频观测，为端到端的感觉运动映射研究提供了标准化基准。当前前沿方向集中在利用此类小样本高质量数据进行策略泛化与迁移学习，尤其是结合预训练视觉模型与因果推理架构，探索从有限演示中提取通用操纵技能的可能性。该数据集的成功实践也推动了开源社区内机器人数据采集协议的统一，其Apache-2.0许可协议鼓励了学术与工业界的广泛复用，加速了具身智能从仿真环境向真实应用场景的跨越。