遇见数据集

record_0618_pi05_pos_full

收藏
Hugging Face2026-08-06 更新2026-08-07 收录
官方服务:

资源简介:

该数据集是一个用于机器人操控的模仿学习数据集,采用 LeRobot 格式存储。数据集包含 53 个 episode,共计 43040 帧,机器人类型为 bi_openarm_follower(双机械臂跟随器),仅涉及 1 个任务。数据特征包括:动作(action)和观测状态(observation.state),均为 16 维浮点数,分别对应左右机械臂各 7 个关节位置和 1 个夹爪位置;此外,还有三个摄像头视角的观测图像(observation.images.front、front2、up),分辨率均为 480×640,H.264 编码,帧率 30fps。数据集还包含时间戳、帧索引、episode 索引、索引和任务索引等辅助字段。数据以 Parquet 文件和 MP4 视频文件形式组织,训练集包含全部 53 个 episode。该数据集适用于机器人控制、模仿学习等任务,遵循 Apache-2.0 许可证。

This dataset is an imitation learning dataset for robot manipulation, stored in the LeRobot format. It contains 53 episodes with a total of 43,040 frames, the robot type is bi_openarm_follower (dual-arm follower), and involves only 1 task. Data features include action and observation.state, both 16-dimensional floating point numbers, corresponding to 7 joint positions and 1 gripper position for each arm. Additionally, there are observation images from three camera views (front, front2, up), each with resolution 480×640, H.264 encoding, and 30fps frame rate. The dataset also includes auxiliary fields such as timestamp, frame index, episode index, index, and task index. Data is organized as Parquet files and MP4 video files, with the training set containing all 53 episodes. This dataset is suitable for tasks such as robot control and imitation learning, and is licensed under Apache-2.0.

创建时间:
2026-08-04
原始信息汇总

数据集概述

数据集名称:record_0618_pi05_pos_full

数据集地址https://huggingface.co/datasets/Tamanenishiki/record_0618_pi05_pos_full

许可证:Apache-2.0

任务类别:机器人学(robotics)

标签:LeRobot

创建工具:该数据集使用 LeRobot 创建。

数据集结构

  • 总集数(Total Episodes):53
  • 总帧数(Total Frames):43040
  • 总任务数(Total Tasks):1
  • 块大小(Chunks Size):1000
  • 数据文件大小:100 MB
  • 视频文件大小:200 MB
  • 帧率(FPS):30
  • 数据划分(Splits):仅包含训练集(train),对应集数范围为 0:53
  • 机器人类型(Robot Type):bi_openarm_follower
  • 代码库版本(Codebase Version):v3.0

数据特征(Features)

动作(Action)与观测状态(Observation.state)

  • 数据类型:float32
  • 形状:[16]
  • 包含维度(16个关节位置信息):
    • right_joint_1.pos 至 right_joint_7.pos(右臂7个关节位置)
    • right_gripper.pos(右夹爪位置)
    • left_joint_1.pos 至 left_joint_7.pos(左臂7个关节位置)
    • left_gripper.pos(左夹爪位置)

图像观测(Observation.images)

包含三个视角的摄像头视频数据,每个视角的图像参数如下:

  • 图像尺寸:480×640×3(高×宽×通道)
  • 视频编码:h264
  • 像素格式:yuv420p
  • 是否为深度图:false
  • 视频帧率:30 FPS
  • 视频通道数:3
  • 是否包含音频:false

三个视角分别为:

  • observation.images.front(前方摄像头)
  • observation.images.front2(前方第二摄像头)
  • observation.images.up(上方摄像头)

其他特征

  • timestamp:时间戳,float32,形状为[1]
  • frame_index:帧索引,int64,形状为[1]
  • episode_index:集数索引,int64,形状为[1]
  • index:全局索引,int64,形状为[1]
  • task_index:任务索引,int64,形状为[1]

数据路径

  • 数据文件路径data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件路径videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引文信息

该数据集的 BibTeX 引文信息目前尚未提供(More Information Needed)。

搜集汇总
数据集介绍
record_0618_pi05_pos_full 数据集图片
构建方式
该数据集由LeRobot框架采集,针对双臂开放机器人平台,以30帧每秒的采样率记录了53个操作序列,共计43040帧,覆盖单一任务场景。数据以Parquet格式存储,配置了动作、状态以及三个视角(前、前二、上)的H264编码视频,动作和状态均包含双臂的16维关节位置信息。每个序列被分割为1000帧的块,便于高效加载和处理,并通过元数据文件详细描述了特征结构和数据路径。
特点
数据集结构设计精巧,融合了多模态感知和控制信号。每个样本同时包含高精度的关节位置指令和观测状态,以及多视角视觉影像,为模仿学习和机器人控制研究提供了丰富的输入维度。视频数据以压缩格式存储,既保证了图像质量又节约了空间,其时间同步性和空间分辨率(480x640)能够精确捕捉操作细节。数据集的划分明确,为模型训练提供了标准化的基准。
使用方法
使用时,研究人员可借助LeRobot库直接加载和可视化该数据集,通过其API便捷地访问各数据块和对应视频。数据集的训练集包含全部53个序列,适用于端到端的行为克隆或强化学习预训练。用户可按需提取动作、状态或图像流,转换成适合自身模型输入的格式。此外,数据集兼容HuggingFace平台,允许在线预览,便于快速评估数据质量和适用性。
背景与挑战
背景概述
该数据集由Tamanenishiki于2024年创建,依托Hugging Face的LeRobot框架,专注于机器人操作领域。数据集包含53个演示片段,总计43040帧,记录了单任务下双臂机器人(bi_openarm_follower)的状态与动作数据。其核心研究问题在于通过模仿学习实现机器人的精细操控,特别是针对双臂协同任务。数据集提供了16维关节位置信息及多视角视频流(前、前2、上),为视觉-运动控制策略的训练提供了丰富且结构化的数据资源。作为LeRobot生态系统的一部分,该数据集推动了机器人学习社区的发展,为端到端操作任务的研究提供了可复现的基准,对领域内模仿学习与动作生成的研究具有重要参考价值。
当前挑战
该数据集面临的挑战聚焦于机器人操作领域固有的复杂性。首要挑战在于捕获数据的精准性与一致性,即确保多视角视频与高维关节状态在时间上的精确同步,以支撑有效的策略学习。其次,构建过程中需解决演示数据的高成本与稀缺性,尤其是双臂协同任务的复杂动态,导致53个片段的重合性有限,可能限制了模型的泛化能力。此外,数据集的规模相对较小,总视频数据量为200MB,且仅含单一任务,对于大规模、多任务的学习场景存在不足。最后,跨域迁移的挑战显著,即从数据训练到现实部署时,需应对环境变化与操作对象的多样性,这对模型的鲁棒性提出了更高要求。
常用场景
经典使用场景
在机器人学习领域,该数据集作为模仿学习与行为克隆研究的基准资源,承载了双臂操作任务的精细运动轨迹与多视角视觉观测。其设计遵循LeRobot框架规范,包含53个演示片段、43,040帧同步记录,以及16维关节空间动作指令,为训练端到端策略网络提供了高保真度的状态-动作对。研究者常利用此数据验证策略模型在复杂操作任务上的泛化能力,尤其适用于双臂协同、夹爪控制等精细动作的建模,是评估算法在真实机器人平台上迁移性能的理想测试床。
实际应用
在实际应用中,该数据集可赋能工业装配、医疗辅助及家庭服务等场景下的双臂机器人编程。通过利用其中的演示数据,开发者能够训练机器人执行如物品抓取、部件组装等精密操作,减少了传统手动编程的成本与风险。此外,数据集的多视角影像与关节指令易于适配虚拟仿真环境,助力数字孪生中的策略预训练与验证,加速机器人技能从仿真到实体的迁移。其标准化格式亦支持快速集成至现有机器人控制栈,为产品级应用提供了实证基础。
衍生相关工作
基于该数据集,衍生了多项经典工作,涵盖基于扩散策略的模仿学习模型、视觉-语言-动作模型及多任务元学习框架。研究者利用其丰富的数据结构,开发出增强数据效率的算法,如利用时序集成与视角融合的策略优化方法。同时,该数据集促进了LeRobot生态中模型评估工具的发展,催生了若干跨平台迁移学习研究。此外,针对其双臂特性,衍生出对称性利用与夹爪协同控制的专项研究,进一步拓展了模仿学习在复杂操作任务上的应用边界。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务