train_pick_place_candy_100_val

该数据集是一个机器人数据集，包含100个剧集，共计36811帧，专注于1个任务。数据集以Parquet格式存储，并包括相应的MP4视频文件。数据集的特征包括机器人的动作位置、观察状态、正面和顶部的图像信息等。所有数据均按照特定的路径结构进行组织。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总情节数: 100
• 总帧数: 36811
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

• 数据格式: Parquet文件
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据特征

动作特征

• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

前视摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频属性:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30
  • 通道数: 3
  • 无音频

顶部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频属性:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30
  • 通道数: 3
  • 无音频

索引特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 情节索引: int64 [1]
• 索引: int64 [1]
• 任务索引: int64 [1]

数据划分

• 训练集: 0-100 (全部数据)

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，train_pick_place_candy_100_val数据集通过LeRobot平台系统构建，采用SO101型机器人执行拾取放置糖果任务。数据采集过程涵盖100个完整操作序列，总计36811帧数据，以30帧每秒的速率记录机器人关节状态与视觉信息。数据以分块形式存储于Parquet文件中，每块容量为1000帧，确保高效存取与处理。

特点

该数据集显著特点在于其多模态数据融合，同时包含六维关节动作向量、双视角视觉观测及时间序列索引。机器人状态与动作均以浮点精度记录，而前视与顶视摄像头以480x640分辨率捕捉彩色视频流，采用AV1编码压缩。数据结构设计严谨，通过帧索引与任务索引实现精确时序对齐，为模仿学习算法提供丰富时空上下文信息。

使用方法

研究者可通过加载Parquet数据文件直接获取结构化机器人交互记录，利用动作-观测配对数据训练控制策略。视频数据可通过指定路径动态解码，配合时间戳实现多传感器数据同步。该数据集适用于行为克隆、强化学习等算法验证，其标准化的数据接口与HuggingFace生态无缝集成，支持端到端的机器人技能学习流程。

背景与挑战

背景概述

在机器人操作任务研究领域，抓取与放置任务构成了基础且关键的研究方向。train_pick_place_candy_100_val数据集由HuggingFace的LeRobot项目团队创建，聚焦于机械臂对糖果类物体的精准抓取与放置操作。该数据集通过六自由度机械臂的关节位置控制与多视角视觉观测，记录了100个完整操作序列，包含36811帧同步的动作指令与视觉数据，为机器人模仿学习与策略优化提供了真实环境下的交互轨迹。

当前挑战

该数据集旨在解决机器人精细操作中的动作规划与视觉感知耦合难题，其核心挑战在于机械臂在非结构化环境中对易变形小物体的稳定抓取策略生成。构建过程中面临多模态数据同步采集的技术瓶颈，需确保30Hz采样频率下关节编码器数据与双视角视频帧的时序一致性，同时高维动作空间与视觉观测的异构数据融合对存储格式与读取效率提出了严苛要求。

常用场景

经典使用场景

在机器人操作领域，train_pick_place_candy_100_val数据集被广泛用于训练和验证拾取放置任务的智能控制模型。该数据集通过记录六自由度机械臂在抓取糖果过程中的关节位置、夹爪状态以及多视角视觉信息，为强化学习和模仿学习算法提供了丰富的交互数据。研究人员能够利用这些数据构建端到端的控制策略，模拟真实环境中的物体操控过程，从而提升机器人在复杂场景下的适应性和精确度。

衍生相关工作

基于此数据集衍生的经典研究包括分层强化学习框架的构建，其中时空注意力机制被用于处理长序列操作任务。LeRobot生态系统的后续工作进一步扩展了多任务协同学习范式，通过跨场景数据增强技术提升了模型的零样本泛化能力。这些成果催生了新一代机器人学习基准测试平台，持续推动着端到端视觉运动控制理论的发展与完善。

数据集最近研究

最新研究方向

在机器人操作任务领域，该数据集聚焦于拾取放置糖果的精细化操作研究。当前前沿方向主要探索多模态感知与动作规划的深度融合，通过整合关节状态数据与双视角视觉信息，推动模仿学习与强化学习算法的协同优化。随着家庭服务机器人需求的增长，此类数据集为泛化操作技能迁移提供了关键支撑，其标准化动作空间设计正成为机器人技能学习范式的重要基准。