pick_dataset_v2

该数据集是基于LeRobot平台创建的机器人学习数据集，属于机器人学任务类别。它包含一个名为so_follower的机器人操作任务，由42个完整任务序列（episodes）组成，总计37,716帧数据。数据文件总大小约100MB，对应的视频文件总大小约200MB，视频帧率为30fps，采用分块存储方式，每个数据块包含1000帧。数据集仅提供训练集划分。数据内容包含多模态信息：动作空间为6维浮点数组，对应机器人肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置等关节指令；观测空间包括机器人本体状态（同样为6维关节位置）以及视觉观测。视觉观测由两个摄像头提供，均输出480x640分辨率的三通道RGB视频流。此外，每条数据记录还包含时间戳、帧索引、episode索引和任务索引等元数据。数据集采用Apache-2.0开源许可证。

原始信息汇总

数据集概述

• 名称: pick_dataset_v2
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 配置: 默认配置，数据文件位于 data/*/*.parquet

数据集详情

• 创建工具: 使用 LeRobot 创建
• 数据总量:
  • 总片段数 (episodes): 42
  • 总帧数 (frames): 37,716
  • 总任务数 (tasks): 1
• 文件大小:
  • 数据文件: 100 MB
  • 视频文件: 200 MB
• 帧率 (FPS): 30
• 数据拆分: 全部 42 个片段用于训练

数据结构

• 机器人类型: so_follower
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征 (Features)

特征名	数据类型	形状	描述
action	float32	[6]	6维动作数据，包含肩部、肘部、腕部及夹爪位置
observation.state	float32	[6]	6维状态观测数据，与动作空间相同
observation.images.main	视频 (video)	[480, 640, 3]	主摄像头图像，480x640，3通道，AV1编码，30fps
observation.images.secondary_0	视频 (video)	[480, 640, 3]	副摄像头图像，480x640，3通道，AV1编码，30fps
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	数据索引
task_index	int64	[1]	任务索引

引用信息

• BibTeX: 暂无提供

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据集是推动模仿学习与行为克隆算法发展的关键基石。pick_dataset_v2 数据集依托于 LeRobot 开源框架构建，旨在为机械臂操作任务提供标准化的训练与评估资源。该数据集共收录 42 个演示片段（episode），累计 37,716 帧数据，全部来自 SO-100 型从机械臂（so_follower）的遥操作采集。数据以 Parquet 格式存储于 Chunk 分块结构中，视频文件则以 AV1 编码的 MP4 格式保存，确保高效的数据存取与压缩效率。所有数据均整合为单一训练集，无验证与测试划分，降低了多任务场景下数据处理的复杂度。

使用方法

使用 pick_dataset_v2 进行模型训练时，推荐采用 LeRobot 库提供的标准数据加载管道。首先，通过 LeRobot 的 Dataset 类读取 Parquet 文件与视频帧，自动完成特征对齐与数据批量化。其次，模型输入可设计为联合视觉编码器与状态编码器的端到端架构，将主、辅视角图像与关节状态向量拼接后送入策略网络。训练时需注意所有片段已完成帧级连续性（chunks_size=1000），可直接用于时间序列预测与行为克隆任务的批次采样。此外，该数据集仅包含单一任务，适合作为基线实验的标准化测试床。

背景与挑战

背景概述

pick_dataset_v2是一个专注于机器人操作任务的数据集，旨在为模仿学习和强化学习提供高质量的演示数据。该数据集由Hugging Face LeRobot社区于近期创建，包含42个演示片段、共计37,716帧数据，采集频率为30帧/秒，所有数据均通过SO Follower机器人平台获取。核心研究问题聚焦于如何利用多模态传感信息（包括6维关节状态与两路RGB视频流）完成精准的物体抓取任务。作为LeRobot生态系统中标准化的演示数据集，pick_dataset_v2为机器人操作领域的基准测试与算法验证提供了基础数据支持，尤其在利用视觉-状态融合进行策略学习的研究方向上具有重要参考价值。

当前挑战

该数据集所解决的领域核心挑战在于机器人抓取操作的泛化性与鲁棒性问题，单一任务（抓取）的限制要求算法能够从有限演示中提取高效的操作先验。构建过程中面临多重技术难点：首先，数据采集依赖于SO Follower通过遥操作生成演示，确保动作流与感知流的时间同步精度达到帧级标准；其次，三通道高分辨率视频（640×480）与6维关节状态数据的异构融合存储需要设计高效的压缩与检索方案；再者，100 MB的Parquet数据与200 MB的AV1编码视频数据在保证50帧/秒实时回放的前提下，需平衡存储效率与数据完整性。

常用场景

经典使用场景

在机器人学习与操控领域，pick_dataset_v2被广泛用于训练机械臂执行精准抓取任务。该数据集包含由SO-Follower机器人采集的42个示范轨迹，记录了6自由度关节角度与双视角视觉信息（主摄像头与辅助摄像头），为模仿学习算法提供了状态-动作对的稠密时序样本。研究人员常利用这些高分辨率视频与连续动作序列，结合行为克隆或逆强化学习方法，使机器人学会从视觉输入中推断抓取策略，从而在结构化环境中复现人类示范的操控行为。

解决学术问题

该数据集的核心贡献在于填补了机器人抓取任务中多模态数据标准化与可复现性不足的学术空白。通过提供统一格式的关节空间、图像及时间戳信息，它使研究者能够系统性地对比不同模仿学习算法在抓取场景下的效能差异。此外，数据集解决了从真实机器人采集示范数据的高成本问题——以42个短片段（共3.7万帧）构成的小样本库，有效支撑了少样本学习、领域自适应及数据增强等前沿方向的实验验证，推动了高效机器人技能获取理论的发展。

实际应用

在实际工业与服务业场景中，基于该数据集训练的模型可部署于柔性生产线上的物料分拣、仓储物流中的零件拾取以及家庭服务机器人对日用品的抓取操作。由于数据包含真实机械臂的物理约束和视觉反馈，其衍生策略能直接迁移至相似构型的机器人平台，例如在电子元件装配中实现毫米级精度的拾放动作，或在医疗实验室中协助试管转运。双摄像头配置还赋予模型一定的视觉鲁棒性，使其在光照变化或部分遮挡条件下维持抓取成功率。

数据集最近研究

最新研究方向

在机器人学习领域，精准抓取操作一直是具身智能研究的核心挑战。pick_dataset_v2基于LeRobot框架构建，聚焦于6自由度机械臂的抓取任务，通过42个演示回合、超过3.7万帧的高频运动轨迹与多视角视觉观测数据，为模仿学习与行为克隆提供了高质量的基准资源。当前前沿方向集中于利用此类数据集训练端到端的视觉-运动策略，探索在动态场景下的泛化能力与鲁棒性；同时，数据集采用AV1编码压缩视频与parquet存储结构，契合了大规模机器人轨迹库对高效数据流与分布式训练的需求，对于推动机器人从实验室固定环境向真实开放世界迁移具有重要示范意义。