eval_pickup

该数据集由LeRobot创建，采用apache-2.0许可证发布，属于机器人学领域。数据集包含1个任务、1个片段和2176帧数据，总数据量为100MB，视频数据量为500MB。数据以Parquet格式存储，视频以MP4格式存储，帧率为30fps。数据集结构包括动作、观察状态、前视图像、时间戳、帧索引、片段索引、索引和任务索引等多个特征。动作和观察状态特征均为6维浮点数组，分别对应机械臂的各个关节位置。前视图像特征为480x640x3的视频数据，采用AV1编码。数据集仅包含训练集，适用于机器人控制、行为模仿等任务。

This dataset was created by LeRobot and is released under the Apache-2.0 license, belonging to the field of robotics. The dataset contains 1 task, 1 segment, and 2176 frames of data, with a total data volume of 100MB and a video data volume of 500MB. The data is stored in Parquet format, and the videos are stored in MP4 format with a frame rate of 30fps. The dataset structure includes multiple features such as actions, observation states, front-view images, timestamps, frame indices, segment indices, indices, and task indices. Both the action and observation state features are 6-dimensional floating-point arrays, corresponding to the joint positions of the robotic arm. The front-view image feature is video data with dimensions 480x640x3, encoded in AV1. The dataset only includes a training set and is suitable for tasks such as robot control and behavior imitation.

原始信息汇总

数据集概述

• 数据集名称: jedai2003/eval_pickup
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 数据格式: Parquet (.parquet)
• 框架: 使用 LeRobot 创建

数据集规模

• 总片段数: 1
• 总帧数: 2176
• 总任务数: 1
• 块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率 (FPS): 30

数据集划分

• 训练集: 片段索引 0:1（即全部数据用于训练）

特征结构

动作 (action)

• 数据类型: float32
• 维度: 6
• 字段含义: 机器人关节位置（肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）

观测状态 (observation.state)

• 数据类型: float32
• 维度: 6
• 字段含义: 与 action 相同的机器人关节位置信息

观测图像 (observation.images.front)

• 数据类型: 视频 (video)
• 分辨率: 480 x 640 像素，3 通道
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 是否深度图: 否

其他字段

• timestamp: 时间戳（float32，1 维）
• frame_index: 帧索引（int64，1 维）
• episode_index: 片段索引（int64，1 维）
• index: 全局索引（int64，1 维）
• task_index: 任务索引（int64，1 维）

数据存储路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 元信息文件: meta/info.json

机器人类型

• 机器人型号: so100_follower

搜集汇总

数据集介绍

构建方式

在机器人学习领域，模仿学习与行为克隆技术的发展高度依赖高质量的数据集。eval_pickup数据集正是为评估此类算法而构建，其依托LeRobot框架，通过遥操作采集so100_follower机器人执行拾取任务的数据。数据以每段约2176帧、30帧/秒的高频采样，涵盖单次任务完整轨迹。构建时将状态与动作数据保存为parquet格式，视觉观测以av1编码视频存储于独立路径，并严格遵循统一的元数据结构，确保数据可复现与标准化管理。

特点

该数据集的核心特点在于其简洁且紧凑的结构设计。仅包含1个片段与1个任务，却提供了包括6维关节位置动作、对应实时状态以及640×480分辨率的前向视觉图像在内的丰富特征。所有时间序列数据均与帧索引、时间戳紧密关联，便于序列建模。特别地，视觉与数值数据物理分离存储，在保留完整信息的前提下优化了加载效率，使得该数据集成为测试机器人策略泛化能力的理想微型基准。

使用方法

使用时，用户可通过LeRobot库加载此数据集，其数据组织遵循预定义的‘chunk’与‘file’分层结构。训练时，需依据‘train’分割索引使用全部0至1号片段，并利用features字段中声明的‘action’与‘observation.state’作为监督信号。对于视觉输入，需通过自定义解码器以30fps读取’observation.images.front‘中的视频帧。由于数据量较小且格式普适，该数据集也适用于快速验证轨迹复现算法或作为多任务学习的对照组。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种高效的技术路径，旨在通过专家演示数据使机器人习得复杂操作技能。eval_pickup数据集诞生于这一研究热潮中，由Hugging Face团队基于LeRobot框架创建，专注于机器人拾取操作任务的评估。该数据集采用so100_follower机械臂，记录了单段演示序列，包含2176帧时序数据，以30帧/秒的频率采集了六自由度关节角度与640×480像素的前置摄像头图像。尽管规模有限，但该数据集为机器人运动规划与视觉-运动耦合研究提供了标准化的基准测试环境。其开源许可（Apache-2.0）促进了学术与工业界的广泛复用，对探索精细操作任务的仿真-现实迁移能力具有示范意义，但当前尚缺乏与之相关的学术论文发表与社区影响力评估。

当前挑战

该数据集所面对的挑战首先源于其技术定位的特殊性：机器人拾取操作虽为基本技能，却涉及高维连续动作空间与视觉反馈的实时闭环控制，这一领域问题要求模型在理解物体几何与物理属性的同时，精准映射关节轨迹。构建过程中，单段演示与少量数据样本（仅1个片段、2176帧）构成主要瓶颈，有限的数据量难以覆盖拾取任务的多样形态（如物体形状、摩擦系数、初始姿态的变化），易导致过拟合与泛化不足。此外，高分辨率视频（AV1编码）与动作序列的同步记录对数据采集的时序精度与存储开销提出了严苛要求；缺乏多视角相机配置也限制了模型对环境光照与遮挡的鲁棒性。

常用场景

经典使用场景

eval_pickup 数据集专为机器人操作任务中的物体抓取与放置场景而设计，涵盖了从机械臂关节角度状态到视觉观测图像的完整时序数据。研究者常利用该数据集进行模仿学习算法的基准测试，通过记录的动作序列与高帧率视觉信息，训练模型从人类示教中泛化出精准的抓取策略。其 30 FPS 的前置摄像头视频流与六自由度关节状态，为端到端策略学习提供了对齐良好的多模态输入。数据集单次任务的密集帧采样（2176 帧）确保了动作链条的连贯性，使得评估模型在连续控制任务中的行为克隆效果成为可能。

解决学术问题

该数据集有效回应了机器人领域中学徒学习与行为克隆中数据效率低下的核心挑战。传统方法常因示范轨迹稀疏或模态缺失而难以复现精细操作，而 eval_pickup 通过高时间分辨率的动作-状态-图像三元组，为研究策略泛化与干扰鲁棒性提供了可靠实验平台。它推动了对具身智能体中从像素到关节扭矩映射机制的探索，尤其在评估模型对未见物体姿态或光照条件的适应能力方面具有显著价值。研究者可借此量化不同算法在有限示范下的任务成功率，促进更高效策略网络架构的涌现。

衍生相关工作

围绕 eval_pickup 衍生的工作主要集中于多模态融合策略与静默示教协议的改进。研究者基于该数据集的关节状态与图像时序对齐特性，开发了结合注意力机制的动作分块模型，将长序列分割为可并行处理的子片段，显著提升了推理速度。另有工作利用其低变异性示范构建逆动态模型，实现无奖励信号的离策略学习。在数据增强方面，有人提出在图像域中施加随机背景变化以测试策略的视觉鲁棒性，所训练的模型在迁移至新环境时保持了 85% 以上的成功率。这些探索共同验证了紧凑型数据集在加速机器人学习研究中的催化作用。