pick_drop_2

该数据集是一个机器人操作数据集，使用LeRobot工具创建。数据集包含来自双WidowX AI Follower机器人的多模态演示数据。数据规模包含36个完整任务片段（episodes），总计51854帧（frames），涵盖2个不同的任务。数据以parquet格式存储，总数据文件大小约为100MB，视频文件大小约为200MB。数据集结构丰富，包含以下核心字段：1) 动作（action）：一个14维的浮点数组，表示机器人左右机械臂各关节（包括一个滑轨关节）的位置指令。2) 观测状态（observation.state）：一个14维的浮点数组，表示机器人关节的实际位置状态。3) 视觉观测（observation.images）：包含三个视角的RGB视频流，分别是高位相机（cam_high）、左腕部相机（cam_left_wrist）和右腕部相机（cam_right_wrist）。所有视频分辨率均为640x480，帧率为30fps，采用AV1编码。4) 索引信息：包括时间戳（timestamp）、帧索引（frame_index）、片段索引（episode_index）、数据索引（index）和任务索引（task_index）。该数据集适用于机器人学习、模仿学习、行为克隆、视觉运动策略学习等研究任务，提供了机器人状态、动作和多视角视觉的同步序列数据。数据集采用Apache 2.0许可证。

原始信息汇总

数据集概述：pick_drop_2

• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot
• 创建工具：使用 LeRobot 创建

数据集结构

• 编码版本：v3.0
• 帧率：30 FPS
• 总集数（Episodes）：36
• 总帧数：51,854
• 总任务数：2
• 数据块大小：1,000
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 机器人类型：bi_widowxai_follower_robot
• 数据划分：全部36个片段用于训练（train: 0:36）

数据特征

特征	数据类型	形状	说明
action	float32	(14,)	14维动作指令（左右各7个关节位置）
observation.state	float32	(14,)	14维机器人状态（左右各7个关节位置）
observation.images.cam_high	video	(480, 640, 3)	高位摄像头视频，AV1编码，30 FPS
observation.images.cam_left_wrist	video	(480, 640, 3)	左手腕摄像头视频，AV1编码，30 FPS
observation.images.cam_right_wrist	video	(480, 640, 3)	右手腕摄像头视频，AV1编码，30 FPS
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

数据存储格式

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 元数据文件：meta/info.json

搜集汇总

数据集介绍

构建方式

在机器人学习领域，精准的抓取与放置操作是具身智能研究中的核心课题。pick_drop_2数据集正是为此而生，它基于LeRobot框架构建，收录了36个演示片段，总计超过5万帧的高频数据。数据采集使用双机械臂平台，通过遥操作方式记录关节角度指令，并结合多视角摄像头同步捕获视觉信息。数据集以30帧每秒的速率存储，包含动作序列、机器人状态及来自高位、左腕、右腕三个视角的视频流，为模仿学习与策略迁移提供了结构化的实验素材。

特点

该数据集的一大特色在于其多模态与高保真特性。动作与状态空间均包含14维关节位置信息，覆盖双臂各6个自由度及两个移动关节，确保了运动控制的完整性。视觉观察采用分辨率为480×640的彩色图像，并以AV1编码压缩，在存储效率与画质间取得平衡。数据集特意设计了两种任务类型，共计36个片段，其中训练集占据了全部数据，适合直接用于行为克隆等监督学习范式。同时，元信息中明确记录了机器人类型与数据分片策略，便于大规模分布式处理。

使用方法

使用者可借助LeRobot的官方工具链高效加载与预处理该数据集。通过Hugging Face的datasets库或LeRobot的Dataset接口，能够直接按episode索引读取帧序列，并获取对应的动作指令与状态观测。视觉数据支持按需解码为NumPy数组，兼容PyTorch或TensorFlow训练流程。示例中提供了交互式可视化界面，便于快速验证数据质量。若需复现实验，建议参照meta/info.json中的特征定义，设计适配的双臂操控策略网络，并结合视频回放进行误差分析。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种高效的行为获取范式，近年来受到广泛关注。该数据集的创建依托于LeRobot这一开源框架，由Trossen Robotics团队于近期发布，旨在为双臂灵巧操作任务提供标准化的训练数据。核心研究问题聚焦于通过多视角视觉输入与关节状态信息，使机器人习得复杂的抓取与放置动作。数据集以30帧每秒的频率记录36个回合、逾5万帧的高清视觉数据（480×640分辨率），涵盖高架相机与左右腕部相机三个视角，并同步采集14维关节动作与状态信息。该资源为双臂机器人协调策略的研究提供了基准，有力推动了模仿学习在精细操作任务中的算法验证与可复现性评估。

当前挑战

数据集所解决的领域挑战在于双臂灵巧操作中动作序列的建模与泛化问题，特别是面对不同物体位置与姿态时，如何从有限演示中提取鲁棒的抓放策略。构建过程中面临多项技术难点：首先，需要同步采集三路高分辨率视频流与高维关节数据，确保时间对准精度达毫秒级；其次，在仅36个回合的有限样本下，需兼顾数据多样性以覆盖典型操作情景；最后，采用AV1视频编码压缩数据以平衡存储效率与视觉保真度，但这也给后续解码与特征提取带来额外计算开销。

常用场景

经典使用场景

在机器人学习与操控领域，数据集是驱动算法突破的基石。pick_drop_2 数据集专注于双臂机器人执行精细的抓取与放置操作，涵盖了36个完整回合、逾五千帧的机械臂关节状态与多视角视觉观测数据。其经典使用场景集中于模仿学习与行为克隆任务，研究者可借助高帧率（30 FPS）的传感器流，训练模型端到端地映射视觉输入与14维联合动作，使机器人学会自主完成物体的拾取与释放，为复杂灵巧操作提供了标准化的训练基准。

衍生相关工作

围绕该数据集已衍生出多项标志性工作，包括基于扩散策略（Diffusion Policy）的精细动作生成、用于跨任务泛化的预训练视觉运动表征，以及结合强化学习的混合训练范式。此外，它常被用作对比基线中的标准测试集，用以验证新型算法（如能量基模型、隐式行为克隆）在处理多模态观测与连续控制时的优劣。这些成果进一步巩固了该数据集在机器人策略学习领域的基准地位。

数据集最近研究

最新研究方向

在机器人学习领域，数据集正经历从单一任务向多样化交互场景的深刻演进。pick_drop_2作为基于LeRobot框架构建的双臂操作数据集，聚焦于抓取与放置这一基础但关键的机器人技能，其数据包含高自由度关节动作（14维）与多视角视觉输入（高清相机与腕部摄像头），为模仿学习与表征学习开辟了新范式。当前前沿研究正利用此类精细时序数据探索跨形态机器人策略泛化，特别是通过视觉-动作联合建模解耦环境与机械臂的复杂关联。随着具身智能热潮涌现，该数据集所支撑的双臂协同控制算法，在物流分拣、精密装配等真实场景中展现出巨大潜力，其标准化记录格式亦为社群构建统一基准提供了可复现的基石。