pick_place_v4

该数据集使用LeRobot框架创建，是一个机器人操作数据集，专门设计用于单一任务场景。它包含102个训练片段，总计37,005帧数据。数据采用结构化存储，包括动作指令、机器人状态观测和多视角视觉观测。动作和状态观测均包含6个浮点数维度，对应机械臂的肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置。视觉观测提供两个视角：腕部摄像头（分辨率480×640）和全局概览摄像头（分辨率720×1280），均以30fps的视频格式存储。此外，数据集还包含时间戳、帧索引、片段索引、数据索引和任务索引等元数据字段。该数据集适用于机器人模仿学习、行为克隆、离线强化学习等任务，为机器人操作策略的训练与评估提供了多模态交互数据。

This dataset is created using the LeRobot framework and is a robotic manipulation dataset designed for single-task scenarios. It contains 102 training episodes, totaling 37,005 frames of data. The data is stored in a structured format, including action commands, robot state observations, and multi-view visual observations. Specifically, both actions and state observations consist of 6 floating-point dimensions corresponding to the shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, and gripper position of the robotic arm. Visual observations provide two perspectives: a wrist camera (resolution 480×640) and an overview camera (resolution 720×1280), both stored as 30fps video formats. Additionally, the dataset includes metadata fields such as timestamps, frame indices, episode indices, data indices, and task indices. This dataset is suitable for tasks like robotic imitation learning, behavior cloning, and offline reinforcement learning, providing multimodal interaction data for training and evaluating robotic manipulation policies.

原始信息汇总

数据集概述

• 数据集名称: pick_place_v4
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot

数据集结构

• 机器人类型: so_follower
• 总片段数 (episodes): 102
• 总帧数 (frames): 37,005
• 任务数量: 1
• 数据分块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率 (FPS): 30
• 数据划分: 训练集 (train) 包含全部 102 个片段

数据特征

特征名称	数据类型	形状	描述
action	float32	[6]	动作指令，包含6个关节位置: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
observation.state	float32	[6]	观察到的机器人状态，与动作特征相同的6个关节位置
observation.images.wrist	video	[480, 640, 3]	腕部摄像头视频，分辨率 480x640，AV1编码，30 FPS
observation.images.overview	video	[720, 1280, 3]	全局视角摄像头视频，分辨率 720x1280，AV1编码，30 FPS
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据存储

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动技能习得与泛化能力提升的关键基石。pick_place_v4数据集采用LeRobot框架构建，专注于经典的抓取与放置任务。该数据集通过单臂机器人so_follower进行数据采集，共包含102个完整操作回合（episode），总计37005帧时序数据。数据采集频率设定为30帧/秒，确保了动作序列的流畅性与细节捕捉。数据集以parquet格式存储结构化的动作与状态信息，并配合同步录制的mp4视频文件，形成多模态数据记录。根据元信息文件所示，所有数据均被划分为单一训练集，未设置验证或测试集分支。

特点

该数据集的核心特点在于其精细化的多模态数据构成与标准化特征定义。数据特征维度包含6自由度的机器人关节动作指令与状态观测，具体涵盖肩部旋转、肘部弯曲、腕部屈伸及夹爪位置等关键参数。特别值得关注的是，数据集同时配备了手腕视角（480×640像素）与全局俯瞰视角（720×1280像素）的双摄像头视频记录，均采用AV1编码以平衡画质与存储效率。这种双视角设计为模仿学习算法提供了丰富的视觉上下文，便于模型同时理解局部操作细节与全局场景布局。此外，每个数据样本还携带有时间戳、帧索引与回合索引等辅助信息，便于时序建模。

使用方法

使用pick_place_v4数据集时，研究者可借助LeRobot生态的标准化接口进行高效加载与预处理。由于数据已按LeRobot协议组织为chunk分块结构，用户可通过指定'default'配置名直接访问parquet文件与对应的视频片段。在模型训练流程中，动作数据可直接作为控制策略的输出目标，而观测状态与图像数据则构成策略网络的输入。建议利用数据集中提供的frame_index和episode_index字段实现回合级别的数据切分与随机采样。数据集内建的特征命名体系清晰，便于在PyTorch或TensorFlow框架中构建数据加载器进行批处理训练。

背景与挑战

背景概述

在机器人学习领域，模仿学习与示教学习策略的推进高度依赖于高质量、结构化的物理交互数据集。pick_place_v4数据集由研究人员利用LeRobot框架创建，聚焦于机器人执行抓取与放置这一基础操作技能。该数据集共计包含102个演示片段，总帧数达37,005帧，并通过30帧每秒的高频采样，记录了SO_Follower机械臂在单一任务下的完整运动轨迹与视觉观测数据。其核心研究问题在于为基于视觉-动作联合建模的机器人操作提供标准化的训练语料，从而推动从示教到泛化执行的算法演进。作为开源社区中LeRobot生态体系的重要组成部分，该数据集为验证模仿学习方法、评价策略泛化能力提供了可复现的基准，尤其对推动低成本机器人平台上的行为克隆研究具有示范性价值。

当前挑战

该数据集所应对的领域挑战主要源于机器人抓取与放置任务中高维连续动作空间与动态环境之间的耦合关系。从数据构建维度看，设计涵盖6自由度位置与夹爪状态的动作表征虽控制了数据复杂度，但单一任务设定（仅包含一种操作目标）在策略泛化层面构成明显制约——训练模型极易在未见物体属性或布局变化时失效。此外，构建过程中面临的挑战包括：通过人工遥操作或动觉示教采集102个高质量演示片段时，操作一致性与轨迹多样性之间的权衡；多模态数据（6维动作状态与双视角视频流）的同步编码与储管，需确保parquet文件与AV1视频码流在30 fps下的毫秒级对齐；开源许可下的数据标准化格式（如chunks_size为1000的切片策略）虽提升了接口兼容性，却也导致长程依赖关系在片段化存储中部分丢失，进一步增加了模仿学习模型对局部动作模式过度拟合的风险。

常用场景

经典使用场景

在机器人操作领域，这款数据集专为模仿学习与行为克隆研究而设计，核心任务聚焦于机械臂的抓取与放置操作。数据集包含102个完整演示片段，总计超过37,000帧高质量时序数据，所有演示均由灵巧的So Follower机器人完成。每个记录单元精确捕捉了六自由度关节动作指令、对应的机器人状态以及双视角视觉信息——包括腕部近距视角与全局俯视视角，形成了动作-状态-图像的完整闭环。这一结构化设计使得研究者能够借此训练机器人从人类演示中直接学习复杂的空间操作策略，实现从感知到行动的端到端映射。

实际应用

在实际工业与服务业场景中，该数据集展现出了卓越的应用潜力。其高保真的视觉与运动数据可用于部署智能分拣系统，例如在自动化仓储中引导机械臂准确识别并抓取各类物品，然后放置在指定位置。此外，该技术还可无缝迁移至医疗辅助领域，用于训练机器人执行精密的手术器械传递与摆放任务。在家庭服务场景中，基于此数据集训练的机器人能够通过学习人类演示，完成诸如物品整理、餐桌布置等日常琐碎操作，大幅提升人机协作的效率与舒适度。

衍生相关工作

基于pick_place_v4数据集，学术界已衍生出一系列开创性工作。从最早的LSTM与Transformer架构在模仿学习中的应用，到近年来扩散策略（Diffusion Policy）和基于能量函数的最优传输方法，该数据集为验证这些前沿模型在物理世界中的操作能力提供了统一的试验平台。研究者以此为基础，开发了诸如动态运动基元（DMP）与视觉运动结合的分层控制框架，并催生了多个针对少样本学习与跨任务泛化的benchmark。这些衍生工作不仅深化了我们对机器人技能获取机制的理解，也为构建通用型操作智能体奠定了坚实的数据基石。