遇见数据集

lerobot_a

收藏
Hugging Face2026-08-21 更新2026-08-22 收录
官方服务:

资源简介:

该数据集是使用 LeRobot 框架创建的机器人操控数据,机器人类型为“so_follower”。数据集包含 31 个演示片段,共计 7979 帧图像,帧率为 30 fps,仅包含 1 个任务。每个样本包括 6 维动作指令(肩部、肘部、腕部、夹爪位置)、6 维关节状态观测、两个摄像头视角的 RGB 视频(前置摄像头 1920x1080,侧置摄像头 1280x720,均编码为 AV1 格式)、时间戳、帧索引、片段索引和任务索引。数据以 Parquet 格式存储,视频以 MP4 格式存储。数据集适用于机器人模仿学习、运动规划、视觉-动作联合建模等任务。

This dataset is robot manipulation data created using the LeRobot framework, with the robot type being "so_follower". It contains 31 demonstration episodes, totaling 7979 frames of images at a frame rate of 30 fps, and includes only 1 task. Each sample consists of 6-dimensional action commands (shoulder, elbow, wrist, gripper position), 6-dimensional joint state observations, RGB videos from two camera perspectives (front camera 1920x1080, side camera 1280x720, both encoded in AV1 format), timestamps, frame indices, episode indices, and task indices. The data is stored in Parquet format, and videos are stored in MP4 format. The dataset is suitable for tasks such as robot imitation learning, motion planning, and vision-action joint modeling.

创建时间:
2026-08-20
原始信息汇总

数据集详情总结

基本信息

  • 数据集名称:lerobot_a
  • 许可证:Apache-2.0
  • 任务类别:机器人学(robotics)
  • 标签:LeRobot
  • 创建工具:LeRobot(Hugging Face 开发的机器人学习框架)

数据集规模

  • 总轨迹数(episodes):31
  • 总帧数:7,979
  • 总任务数:1
  • 数据文件大小:约 100 MB
  • 视频文件大小:约 200 MB
  • 帧率(FPS):30
  • 机器人类型:so_follower
  • 数据分块大小(chunks_size):1000

数据划分

  • 训练集:0:31(全部 31 条轨迹用于训练)

数据特征

动作(action)

  • 数据类型:float32
  • 维度:6
  • 特征名称
    • shoulder_pan.pos(肩部旋转位置)
    • shoulder_lift.pos(肩部升降位置)
    • elbow_flex.pos(肘部弯曲位置)
    • wrist_flex.pos(腕部弯曲位置)
    • wrist_roll.pos(腕部滚动位置)
    • gripper.pos(夹爪位置)

观测状态(observation.state)

  • 数据类型:float32
  • 维度:6
  • 特征名称:与动作特征相同(肩部、肘部、腕部及夹爪的关节位置)

图像观测(observation.images)

前置摄像头(front)

  • 分辨率:1080 × 1920 × 3(高 × 宽 × 通道)
  • 视频编码:AV1
  • 像素格式:yuv420p
  • 帧率:30 FPS
  • 无音频

侧面摄像头(side)

  • 分辨率:720 × 1280 × 3(高 × 宽 × 通道)
  • 视频编码:AV1
  • 像素格式:yuv420p
  • 帧率:30 FPS
  • 无音频

其他特征

  • timestamp:时间戳,float32 类型
  • frame_index:帧索引,int64 类型
  • episode_index:轨迹索引,int64 类型
  • index:全局索引,int64 类型
  • task_index:任务索引,int64 类型

数据存储结构

  • 数据文件路径data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件路径videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
  • 元数据文件meta/info.json(包含数据集版本 v3.0 及全部结构信息)

引用信息

  • 引用格式:BibTeX(暂无具体引用内容)
搜集汇总
数据集介绍
lerobot_a 数据集图片
构建方式
该数据集由LeRobot框架精心构建,源自实际机器人操作过程中的实时数据采集。数据涵盖31个示范片段,共计7979帧,以30帧每秒的频率捕获高精度动作序列。每条记录详尽记载了六维关节控制指令(含肩部、肘部、腕部及夹爪位置),同步采集了前端与侧方两个视角的高清视觉信息,视频分辨率分别达到1080x1920和720x1280,并采用AV1编码进行高效压缩。数据以parquet格式分块存储,辅以元数据文件全面描述特征、分割及数据路径,确保数据完整性与可复现性。
特点
该数据集聚焦单任务场景,包含31个完整演示,具有高度的专业性与一致性。其关键特性在于多模态融合,将精确的机器人状态与动作数据同高清视觉观测相结合,为模仿学习提供丰富输入。数据以parquet与mp4双格式存储,兼顾结构化高效查询与视频直观回放。采样频率为30Hz,覆盖160秒操作过程,充分捕捉动态细节。特征设计清晰,涵盖动作、状态、图像、时间戳等关键维度,便于模型训练与评估。
使用方法
该数据集专为机器人操作领域的模仿学习与行为克隆研究设计。用户可借助LeRobot库便捷地加载与解析数据,无缝集成至PyTorch等深度学习训练管道。训练时,可将观测图像与状态序列作为模型输入,预测对应的动作指令,以实现策略学习。数据划分明确,提供较完整的训练集,可直接用于监督学习。此外,数据集兼容HuggingFace生态,支持快速探索、可视化及预处理,加速研究迭代。
背景与挑战
背景概述
该数据集由HuggingFace团队主导,依托其开源的LeRobot框架创建,旨在推动机器人学习领域的发展。建于近年,该数据集聚焦于一个特定的机器人操作任务,利用SO-100系列机械臂,通过31个演示片段,共7979帧图像和状态动作数据,为模仿学习提供了丰富的训练样本。数据以Parquet和视频格式存储,支持高效的深度学习模型训练,其规范化的数据结构与统一的接口,极大降低了研究门槛,促进了机器人学与人工智能的交叉融合,对推动具身智能的发展具有重要影响。
当前挑战
在领域层面,该数据集面临的挑战在于机器人演示数据的采集与泛化,需解决不同操作场景下的适应性问题,同时确保动作的精确性与安全性。构建过程中,挑战包括数据同步的精准性,多传感器(如高清摄像头、关节编码器)的时间对齐,以及数据质量的一致性保障。此外,大规模数据集的存储与高效访问,以及视频序列处理的资源密集性,亦为数据构建与后续使用提出了苛刻的要求。
常用场景
经典使用场景
在机器人学习与具身智能的交叉领域中,lerobot_a数据集凭借其精细的结构化设计,成为模仿学习与行为克隆研究的基准平台。该数据集由31个完整任务片段构成,每帧包含多视角视觉观测(前视与侧视)及高精度关节状态,为端到端策略学习提供了对齐良好的状态-动作映射。研究者可藉此数据训练视觉运动策略,如基于Transformer的动作生成模型或扩散策略,从而在诸如物体抓取等精细操作任务中实现高效的行为复现。
衍生相关工作
依托lerobot_a数据集所倡导的开放式数据共享范式,相关衍生工作可大致分为算法创新与工具链拓展两类。在算法方面,启发了基于离线强化学习的策略提取、基于视觉语言模型的通用操作接口构建等研究;在工具层面,促使了数据增强、自动清洗及动作分块等预处理工具的涌现,这些工作共同丰富了机器人学习的研究生态,并催生了众多基于大规模异质数据集训练的跨任务策略模型,为迈向通用机器人智能铺平了道路。
数据集最近研究
最新研究方向
该数据集基于LeRobot框架构建,聚焦于机器人操作技能学习,特别是双臂协同与精细抓取任务。其数据采集自SO-100系列六自由度机械臂,包含高频(30fps)的多视角视频与状态-动作对,为模仿学习和强化学习提供了扎实的训练基础。当前前沿研究方向集中于利用大规模高质量演示数据推动视觉-动作预测模型的泛化能力,结合扩散策略或Transformer架构提升复杂操作任务的鲁棒性。该数据集的出现契合了具身智能与机器人基础模型的发展热点,为跨具身迁移学习和多任务统一策略研究提供了标准化测试床,对推动机器人从实验室走向真实世界应用具有重要实践意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务