遇见数据集

task10-move-to-beaker-storage-shelf_0804

收藏
Hugging Face2026-08-18 更新2026-08-19 收录
官方服务:

资源简介:

该数据集使用LeRobot工具创建,面向机器人操作任务,包含490个演示片段(episode),总计96,952帧。数据由mobileai_robot机器人采集,执行的任务为“移动至烧杯储存架”(task10-move-to-beaker-storage-shelf_0804)。每个样本包含16维的动作(action)和状态观测(observation.state),分别对应左右臂的6个关节位置、一个附加关节位置、线速度和角速度。同时提供三个摄像头视角的RGB视频:高位摄像头(cam_high)、左腕摄像头(cam_left_wrist)和右腕摄像头(cam_right_wrist),分辨率均为480×640像素,H.264编码,帧率30fps。此外还包括时间戳、帧索引、episode索引等辅助字段。数据以parquet格式存储,视频以mp4格式保存,所有数据均用于训练(无独立验证集)。该数据集适用于机器人模仿学习、示教学习、多模态感知与控制等任务。

This dataset is created using the LeRobot tool, targeting robot manipulation tasks. It contains 490 demonstration episodes with a total of 96,952 frames. The data was collected by the mobileai_robot robot performing the task move to beaker storage shelf (task10-move-to-beaker-storage-shelf_0804). Each sample includes 16-dimensional action and observation.state, corresponding to the 6 joint positions of each arm, an additional joint position, linear velocity, and angular velocity. Three camera views provide RGB videos: a high camera (cam_high), a left wrist camera (cam_left_wrist), and a right wrist camera (cam_right_wrist), all with a resolution of 480×640 pixels, H.264 encoding, and 30fps frame rate. Additional fields include timestamps, frame indices, and episode indices. The data is stored in parquet format, and videos are saved as mp4 files. All data is used for training (no separate validation set). This dataset is suitable for tasks such as robot imitation learning, teaching learning, and multimodal perception and control.

创建时间:
2026-08-04
原始信息汇总

数据集详情总结

基本信息

  • 数据集名称:task10-move-to-beaker-storage-shelf_0804
  • 创建工具:LeRobot(https://github.com/huggingface/lerobot)
  • 许可证:Apache-2.0
  • 任务类别:机器人(Robotics)
  • 标签:LeRobot

数据集规模

  • 总片段数:490
  • 总帧数:96,952
  • 任务数:1
  • 数据文件大小:100 MB
  • 视频文件大小:200 MB
  • 帧率:30 FPS

数据集结构

  • 数据路径data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频路径videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
  • 数据集划分:训练集包含全部 490 个片段(0:490),无验证集和测试集
  • 数据格式:Parquet 文件,存储于 data/*/*.parquet

机器人类型与动作空间

  • 机器人类型:mobileai_robot
  • 动作空间(Action):16 维,包含:
    • 左臂 7 个关节位置(left_joint_0 至 left_joint_5 及 left_left_carriage_joint)
    • 右臂 7 个关节位置(right_joint_0 至 right_joint_5 及 right_left_carriage_joint)
    • 机器人的线速度(x.vel)和角速度(theta.vel)
  • 观测状态空间(observation.state):与动作空间相同,共 16 维

观测图像

数据集包含 3 个摄像头视角的图像观测,均为 H.264 编码视频,分辨率为 480×640,30 FPS:

  1. cam_high:高位摄像头
  2. cam_left_wrist:左手腕摄像头
  3. cam_right_wrist:右手腕摄像头

其他特征

  • timestamp:时间戳,float32 类型
  • frame_index:帧索引,int64 类型
  • episode_index:片段索引,int64 类型
  • index:全局索引,int64 类型
  • task_index:任务索引,int64 类型
  • chunks_size:1000(每个 chunk 包含的帧数)

待补充信息

  • 主页:未提供
  • 论文:未提供
  • 引用:未提供 BibTeX 引用格式
搜集汇总
数据集介绍
task10-move-to-beaker-storage-shelf_0804 数据集图片
构建方式
该数据集源自移动人工智能机器人执行‘移至烧杯存储架’任务的实操记录,经由LeRobot平台精心采集而成。其构建遵循v3.0规范,涵盖了551个完整操作周期,共计106549帧数据,帧率设定为30fps。数据以Parquet格式存储,动作与观测状态均包含16维向量,详实记录了机器人双臂各关节位置及移动速度等关键参数。同时,配备高、左腕、右腕三个视角的H.264编码视频流,分辨率为480x640,为多模态学习提供了丰富素材。
特点
数据集的一个显著特点是其高保真度与多模态融合。它同时提供了精确的机器人状态序列、动作指令以及同步的视频观测,实现了状态-动作-视觉三位一体的数据关联。551个演示回合不仅数量可观,且动作序列连续,时间戳与帧索引标注精确,极大便利了时序模型训练。此外,数据划分清晰,训练集涵盖全部回合,便于直接用于模仿学习或强化学习的预训练阶段。
使用方法
使用时,研究者可通过HuggingFace平台集成的可视化工具直观浏览数据内容。借助LeRobot库,用户能够便捷地加载Parquet数据文件,解析动作、状态与图像字段,并将视频帧序列化以输入深度学习模型。该数据集尤其适用于训练机器人操作技能,如基于视觉的模仿学习、多模态策略学习等任务,验证算法在真实机器人上的迁移效果。其Apache 2.0许可也确保了广泛的适用性与再分发便利。
背景与挑战
背景概述
该数据集由gistailab团队于2024年创建,旨在为机器人操作任务提供高质量的训练数据,特别是移动机械臂将物体放置到储物架上的任务。数据集采用LeRobot框架构建,包含551个演示回合,总帧数达106549帧,涵盖多视角视觉信息(包括高角度摄像头和左右腕部摄像头)以及16维动作和状态数据。该数据集的核心研究问题在于如何通过模仿学习使机器人掌握精细的物体搬运与放置操作。其影响力体现在为机器人学习社区提供了一个标准化的、可复现的数据集,促进了基于视觉的机器人操作研究的发展。
当前挑战
该数据集所解决的领域问题是机器人操作中的物体放置任务,这一任务要求机器人具备精确的空间感知和动作控制能力,是机器人技术中的核心难题。在数据构建过程中,挑战包括确保动作和状态数据的准确同步,以及高帧率(30fps)下多视角视频的一致性和质量。此外,数据采集需覆盖多样化的初始状态和操作条件,以增强模型的泛化能力。数据集还需处理不同传感器间的校准问题,以及大量数据存储和处理的效率问题,这些均对数据集的实用性和研究价值构成了考验。
常用场景
经典使用场景
该数据集专注于机器人操作任务中的'将物体移至烧杯存储架'场景,通过551个演示回合与逾十万帧的高频采样,捕捉了移动机械臂在三维空间内的精细操控轨迹。其数据模态涵盖高清热像、左右腕部视觉以及16维关节状态与速度指令,为模仿学习与行为克隆提供了丰富的多感官训练语料。研究者常利用该数据集训练端到端神经策略,以验证模型在长时程、多步骤操作任务中的泛化能力,并评估视觉-动作映射的鲁棒性。
衍生相关工作
围绕此数据集,衍生了一系列具有影响力的研究工作。在算法层面,研究者基于其构建了生成式模仿学习模型,探索了扩散策略在机器人操作中的高效运用;在系统层面,推动了轻量化机器人学习框架的优化,促进了跨具身平台的知识迁移。此外,该数据集还催生了针对多模态融合的基准测试工作,激发了关于视觉注意力机制与动作序列预测的对比研究,为后续构建大规模通用机器人操作知识库奠定了数据与方法论基石。
数据集最近研究
最新研究方向
该数据集聚焦于机器人操作中的物体搬运与存放任务,具体为移动机械臂将物品放置于储物架上的精细操作。在具身智能与机器人学习的前沿领域,此类数据集正被用于推动模仿学习与强化学习算法的突破,尤其是多自由度机械臂的协同控制与视觉-运动闭环策略的泛化能力。随着LeRobot等开源框架的普及,这类任务正成为验证视觉-语言-动作模型在工业场景中实用性的关键基准,其高频率的多视角视频记录与运动状态数据为构建数字孪生和端到端操作模型提供了宝贵资源。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务