eval_t10_pick_and_place

该数据集是由LeRobot创建的，用于机器人任务学习的视频数据集。它包含了4个剧集，共1738帧，1个任务，8个视频，以及1个片段。每个片段包含1000个数据点，帧率为30fps。数据集的结构包括动作、状态、前视图和上视图图像等多种特征。所有数据以Parquet格式存储，并提供了对应的视频文件。

原始信息汇总

数据集概述

基本信息

• 名称: eval_t10_pick_and_place
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 配置名称: default
• 数据文件格式: Parquet
• 数据文件路径: data/*/*.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 4
• 总帧数: 1738
• 总任务数: 1
• 总视频数: 8
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割: 训练集 (0:4)

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action)
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state)
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images.front 和 observation.images.up)
  • 数据类型: video
  • 形状: [1080, 1920, 3]
  • 视频信息:
    • 高度: 1080
    • 宽度: 1920
    • 编码: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30 fps
    • 通道数: 3
    • 无音频
• 其他特征
  • timestamp: float32, 形状 [1]
  • frame_index: int64, 形状 [1]
  • episode_index: int64, 形状 [1]
  • index: int64, 形状 [1]
  • task_index: int64, 形状 [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，eval_t10_pick_and_place数据集通过LeRobot框架系统构建，采用高精度六自由度机械臂so101_follower采集实际交互数据。数据集包含4个完整任务片段，总计1738帧30fps高清视频流，通过标准化parquet格式存储多模态观测数据，确保数据采集过程的精确性和可复现性。

特点

该数据集显著特征在于融合多维度传感器信息，包含双视角1080p彩色视频流、六关节运动状态参数及精确时间戳标注。动作空间涵盖肩部平移、肩部抬升、肘部屈伸、腕部屈伸、腕部旋转及夹爪开合六维连续控制量，观测空间同步提供机械臂状态反馈，形成完整的闭环控制数据体系。

使用方法

研究者可通过加载标准parquet数据文件获取结构化时序数据，利用帧索引和片段索引实现精确数据定位。视频数据支持通过指定视频键和片段编号直接调用，动作与观测数据采用float32精度存储，兼容主流深度学习框架，适用于模仿学习、强化学习等机器人控制算法的训练与验证。

背景与挑战

背景概述

机器人操作任务数据集eval_t10_pick_and_place由HuggingFace的LeRobot项目团队构建，专注于机械臂抓取与放置这一核心研究问题。该数据集采用Apache 2.0开源协议，通过so101_follower型机器人采集多模态交互数据，包含1738帧高分辨率视觉观测和6自由度关节控制指令。其结构化设计支持模仿学习与强化学习算法的训练验证，为家庭服务机器人自主操作能力的发展提供了重要数据支撑。

当前挑战

该数据集致力于解决机器人精细操作中的视觉-动作映射难题，其核心挑战在于高维连续动作空间的策略学习与多视角视觉信息的时空对齐。构建过程中面临传感器同步精度保障、大规模视频数据压缩存储、以及真实物理环境下运动轨迹噪声抑制等技术难点，同时需确保6自由度机械臂运动学约束下的动作安全性。

常用场景

经典使用场景

在机器人操作学习领域，eval_t10_pick_and_place数据集为机械臂抓取与放置任务提供了标准化的评估基准。该数据集通过多视角视频流与六自由度关节动作数据的同步记录，完整呈现了SO101型机械臂执行物体抓取操作的动态过程。研究者可基于该数据集训练端到端的视觉运动策略模型，验证模仿学习与强化学习算法在复杂操作任务中的泛化能力。

解决学术问题

该数据集有效解决了机器人操作任务中缺乏标准化评估框架的学术难题。通过提供精确的时间对齐多模态数据，支持研究者深入分析高维视觉输入与连续动作输出的映射关系。其结构化记录方式为研究机械臂运动规划、手眼协调控制等核心问题提供了数据支撑，显著提升了机器人学习算法的可复现性与对比性，推动了具身智能领域的量化研究进程。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的操作策略网络、多视角视觉特征融合框架等。研究者利用其丰富的模态信息开发了分层强化学习架构，实现了从原始像素到关节力矩的端到端控制。相关成果进一步衍生出跨域迁移学习方案，使得在有限数据条件下训练的模型能够适应新的操作环境与任务变体。