pick_up_3c

这是一个用于机器人学领域的 datasets，包含了10个剧集，共计3409帧，1个任务，30个视频和1个块，块大小为1000。数据集提供了包括动作、观测状态、三种不同视角的观测图像等丰富的特征信息，用于机器人相关的研究和开发。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总视频数: 30
• 总片段数: 10
• 总帧数: 3585
• 数据块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集（0:10）

数据特征

动作特征

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态特征

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测图像特征

腕部图像

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称:
  • height
  • width
  • channels
• 信息:
  • 视频高度: 480
  • 视频宽度: 640
  • 视频编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

上部图像

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称:
  • height
  • width
  • channels
• 信息:
  • 视频高度: 480
  • 视频宽度: 640
  • 视频编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

肩部图像

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称:
  • height
  • width
  • channels
• 信息:
  • 视频高度: 480
  • 视频宽度: 640
  • 视频编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

其他特征

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 片段索引: int64, 形状 [1]
• 索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

数据存储

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人技术领域，pick_up_3c数据集通过LeRobot平台精心构建，采用真实机器人操作场景记录方式。数据采集自so101_follower型机器人执行单一任务的过程，涵盖10个完整 episodes 共3585帧数据，以30fps帧率同步记录多模态信息。数据以分块存储形式组织，每个chunk包含1000帧标准化数据，确保数据结构的完整性与高效存取。

特点

该数据集显著特点在于其丰富的多模态观测体系，包含腕部、上方和肩部三个视角的彩色视频流，分辨率统一为640×480。动作空间采用6自由度关节位置控制，与观测状态形成精确对应。数据结构采用标准化parquet格式存储，配备详细元数据描述，支持高效读取与跨平台兼容，为模仿学习研究提供高质量基准。

使用方法

研究者可通过加载标准parquet文件访问数据集，利用预定义的episode索引机制提取训练片段。每个数据样本包含同步的时间戳、帧索引和多传感器观测，支持端到端策略学习。视频数据采用AV1编码压缩，平衡存储效率与视觉质量，适用于行为克隆、强化学习等算法验证与模型训练。

背景与挑战

背景概述

在机器人学习领域，高质量数据集对于推动机器人操控任务的研究至关重要。pick_up_3c数据集由LeRobot团队构建，专注于机械臂抓取任务的数据采集。该数据集通过SO101型跟随机器人记录了多视角视觉观测与关节动作的同步数据，包含10个完整操作序列和3585帧多维数据，为模仿学习与强化学习算法提供了真实世界的训练基础。其结构化特征设计体现了机器人感知-动作闭环建模的前沿需求，对自主机器人操作系统的开发具有重要支撑作用。

当前挑战

该数据集核心挑战在于解决多模态机器人操作中的时空对齐问题，需同步处理腕部、上方和肩部三视角视觉流与六自由度关节动作的精确映射。构建过程中面临传感器同步精度保障、大规模视频数据压缩存储（采用AV1编解码器）以及高维度连续动作空间标注的挑战。此外，真实环境下的光照变化、物体遮挡以及机械臂运动不确定性等因素，进一步增加了数据采集与清洗的复杂度。

常用场景

经典使用场景

在机器人操作学习领域，pick_up_3c数据集通过多视角视觉观测与六维关节动作的同步记录，为模仿学习算法提供了标准化的训练范本。其经典应用场景集中于机械臂抓取任务的策略学习，研究者可利用该数据集训练神经网络从原始像素输入直接映射到连续控制动作，实现端到端的操作技能获取。

实际应用

工业自动化领域可利用该数据集训练智能分拣系统，实现物流仓储中的货物抓取与摆放。服务机器人领域依托其多视角视觉数据开发家居物品操作能力，辅助完成餐具整理等日常任务。医疗机器人领域借鉴其精细操作范式，应用于手术器械抓取等需要高精度控制的场景。

衍生相关工作

基于该数据集的特性，衍生出多项经典研究工作：包括结合逆强化学习的操作策略提取算法、多视角视觉特征融合的抓取位姿预测模型、以及跨模态表示学习框架。这些工作推动了行为克隆算法在复杂操作任务中的应用，并为持续学习在机器人领域的实践提供了重要基准。