train_pick_place_candy_100_train

这是一个关于机器人操作的 dataset，包含了100个 episodes，共计28534帧，涉及1个任务。数据集以Parquet文件格式存储，并包含了视频文件。数据集的结构详细描述了包含的特征，如机器人关节的位置、前后视角的图像等，以及相应的元数据信息。

原始信息汇总

数据集概述

基本信息

• 名称: train_pick_place_candy_100_train
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0

数据集结构

• 总任务数: 1
• 总回合数: 100
• 总帧数: 28534
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 数据格式: Parquet
• 视频格式: MP4
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据特征

动作特征

• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

前视摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

顶部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 回合索引: int64 [1]
• 数据索引: int64 [1]
• 任务索引: int64 [1]

数据组织

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据分割: train (0:100)

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

引用信息

• 论文: 待补充
• 主页: 待补充
• BibTeX: 待补充

搜集汇总

数据集介绍

构建方式

在机器人操作领域，该数据集通过LeRobot平台系统性地采集了100个完整的操作任务序列，涵盖拾取与放置糖果的典型场景。数据以分块存储的形式组织，每个数据块包含1000帧记录，总计28534帧观测数据。采用30帧/秒的同步采集频率，确保动作与观测状态的时间一致性，并以Apache 2.0许可协议开放使用。

使用方法

研究人员可通过加载标准化的Parquet格式数据文件，直接获取机械臂运动轨迹与同步视觉观测序列。数据集支持按片段索引进行流式读取，适用于端到端策略学习、行为克隆等算法验证。双视角视频数据可通过指定路径加载，配合动作指令与状态观测实现多模态联合训练，为机器人操作任务提供完整的仿真到实境迁移基础。

背景与挑战

背景概述

机器人操作任务数据集作为强化学习与模仿学习研究的重要基础，train_pick_place_candy_100_train数据集由LeRobot研究团队基于Apache 2.0协议构建。该数据集聚焦于工业机械臂的抓取放置任务，通过so101_follower型机器人采集了100个完整操作序列，涵盖28534帧多模态数据。其核心价值在于提供了包含关节位置控制指令、双视角视觉观测与时间戳标记的同步数据流，为机器人精细操作策略的端到端学习建立了实验基准。

当前挑战

在机器人抓取放置领域，该数据集需应对动态环境下的目标定位精度与抓取力度控制等核心难题。构建过程中面临多传感器时序对齐的技术挑战，包括机械臂关节编码器与双路视觉系统的高频数据同步问题。此外，操作轨迹的多样性与场景泛化能力受限于固定任务设置，视频数据的高效压缩存储与实时解码需求亦对计算架构提出严格要求。

常用场景

经典使用场景

在机器人操作学习领域，train_pick_place_candy_100_train数据集以其丰富的多模态数据为机器人抓取任务提供了标准化的训练环境。该数据集通过记录机械臂执行糖果抓取动作时的关节位置、夹爪状态及双视角视觉信息，为模仿学习与强化学习算法构建了完整的感知-动作映射框架。研究者可基于该数据集训练端到端的控制策略，使机器人能够从原始视觉输入中直接生成精确的动作指令。

解决学术问题

该数据集有效解决了机器人操作任务中样本效率低下与泛化能力不足的学术难题。通过提供包含28534帧同步传感器数据的完整轨迹，显著降低了现实世界机器人训练的数据采集成本。其标准化的数据格式与多模态特性为研究跨模态表征学习、动作序列建模等基础问题提供了实验基础，推动了机器人学习从仿真到实物的迁移研究进程。

实际应用

在工业自动化场景中，该数据集支撑的算法模型可直接应用于食品分拣、药品包装等精密抓取任务。基于视觉的抓取系统通过学得的多视角空间关系，能够自适应处理不同形状、材质的物体。这种数据驱动的解决方案显著提升了生产线的柔性化程度，为智能制造领域提供了可复用的技术范式。

数据集最近研究

最新研究方向

在机器人操作任务领域，该数据集聚焦于拾取放置糖果的精细化操作研究。当前前沿方向主要探索多模态感知与动作协同的端到端学习框架，通过整合关节状态数据与双视角视觉信息，推动模仿学习在复杂场景下的泛化能力。随着具身智能研究热潮的兴起，该数据集为机器人操作策略的跨任务迁移提供了关键实验基础，其多传感器时序对齐特性正成为强化学习与视觉语言模型融合研究的重要载体。