Candy-Pick

这是一个使用LeRobot工具创建的数据集，包含24个剧集，共38941帧，主要针对1个任务。数据集以parquet格式存储，并包含相应的视频文件。数据集的特征包括机器人的动作、状态、左右摄像头图像以及时间戳等。

原始信息汇总

Candy-Pick数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据集规模

• 总任务数: 1
• 总回合数: 24
• 总帧数: 38941
• 帧率: 30 fps
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 分块大小: 1000

数据划分

• 训练集: 0-24

数据结构

数据文件路径

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

左侧图像:

• 名称: observation.images.left
• 数据类型: video
• 分辨率: 720×1280×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图: false
• 无音频: true

右侧图像:

• 名称: observation.images.right
• 数据类型: video
• 分辨率: 720×1280×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图: false
• 无音频: true

顶部图像:

• 名称: observation.images.top
• 数据类型: video
• 分辨率: 720×1280×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图: false
• 无音频: true

索引字段

• 时间戳: timestamp (float32, [1])
• 帧索引: frame_index (int64, [1])
• 回合索引: episode_index (int64, [1])
• 索引: index (int64, [1])
• 任务索引: task_index (int64, [1])

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人技术领域，Candy-Pick数据集通过LeRobot平台精心构建，采用SO101型跟随机器人执行单一任务场景的数据采集。该数据集包含24个完整交互片段，总计38941帧数据，以30fps的采样率记录多模态信息。数据以分块形式存储于Parquet文件中，每块容量为1000帧，原始视频文件采用AV1编码格式保存，确保数据的高效存储与读取。

特点

该数据集的核心特征体现在其丰富的多模态观测体系，涵盖左、右、顶部三个视角的720p彩色视频流，以及六自由度机械臂的精确关节状态信息。动作空间完整记录肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置等关键参数。数据结构采用统一的张量格式，支持时间戳、帧索引和任务索引等多维度检索，为机器人模仿学习提供全面的时空上下文。

使用方法

研究人员可通过加载标准化的Parquet数据文件直接访问数据集，利用预定义的特征结构解析关节状态与视觉观测。训练集涵盖全部24个交互片段，支持端到端的策略学习或行为克隆任务。多路视频流与机械臂状态的同步特性使其适用于跨模态表征学习，而分块存储机制则便于大规模分布式训练过程中的数据流水线优化。

背景与挑战

背景概述

机器人操作任务数据集Candy-Pick由LeRobot研究团队构建，聚焦于机械臂抓取操作的智能控制问题。该数据集通过SO101型跟随机器人采集多视角视觉数据与关节状态信息，涵盖6自由度机械臂的完整运动轨迹记录。其设计初衷在于解决复杂环境下机器人精细操作的可重复性难题，为模仿学习与强化学习算法提供高维度传感器融合数据支撑。数据集采用Apache 2.0开源协议，包含24个完整操作序列与近四万帧同步观测记录，通过标准化数据格式推动机器人操作研究的可复现性发展。

当前挑战

在机器人操作领域，Candy-Pick需应对动态环境中目标定位与抓取轨迹规划的复合难题。多视角视觉感知与关节运动控制的协同优化构成核心挑战，特别是涉及遮挡场景下的三维空间推理问题。数据集构建过程中面临传感器同步精度保障的技术瓶颈，需要确保六路关节编码器与三路高清视频流的时间对齐。海量异构数据的存储与处理亦带来工程挑战，原始视频数据达500MB而运动轨迹数据达100MB，需通过分块存储与压缩编码平衡数据完整性与访问效率。

常用场景

经典使用场景

在机器人操作学习领域，Candy-Pick数据集通过记录机械臂关节位置与多视角视觉数据，为模仿学习算法提供了丰富的训练素材。该数据集典型应用于机械臂抓取任务的研究，学者们利用其包含的六自由度关节控制指令与同步视觉观测，构建从感知到动作的端到端策略模型。

解决学术问题

该数据集有效解决了机器人操作中视觉-运动协调建模的难题，为研究多模态感知与运动控制的耦合机制提供了数据支撑。通过提供精确的关节角度与同步多视角视频，它助力学者突破传统运动规划方法的局限，推动基于学习的机器人控制理论发展。

衍生相关工作

受该数据集启发，学界涌现出多项基于深度强化学习的抓取策略研究。这些工作通过融合视觉特征与运动轨迹，发展了分层控制架构与元学习框架，显著提升了机械臂在动态环境中的操作鲁棒性与泛化能力。