so101_pen_pick_place

该数据集是一个机器人操作数据集，使用LeRobot框架创建。数据集包含来自so_follower机器人的动作和状态数据，以及两个摄像头（前视和腕部）的640x480视频。每个样本包含6维动作指令（肩部、肘部、腕部、夹爪位置）和对应的6维状态观测。数据集共有54个片段，总帧数为40500帧，帧率为30fps。所有数据均以parquet格式存储，视频以AV1编码的mp4格式存储。该数据集适用于机器人模仿学习、操作技能学习等任务。This dataset is a robot manipulation dataset created using the LeRobot framework. It contains action and state data from the so_follower robot, along with 640x480 videos from two cameras (front view and wrist). Each sample includes 6-dimensional action commands (shoulder, elbow, wrist, gripper position) and corresponding 6-dimensional state observations. The dataset consists of 54 episodes with a total of 40500 frames at 30fps. All data is stored in parquet format, and videos are in AV1-encoded mp4 format. This dataset is suitable for tasks such as robot imitation learning and manipulation skill learning.

原始信息汇总

数据集概述：so101_pen_pick_place

基本信息

• 许可证： Apache-2.0
• 任务类别： 机器人（robotics）
• 标签： LeRobot
• 机器人类型： so_follower
• 数据集格式： Parquet 文件（data/*/*.parquet）

数据集结构

规模

• 总回合数（Episodes）： 54
• 总帧数（Frames）： 40,500
• 总任务数： 1
• 数据文件大小： 100 MB
• 视频文件大小： 200 MB
• 帧率（FPS）： 30

数据划分

• 训练集： 0:54（全部54个回合）

特征信息

特征名	数据类型	形状	说明
action	float32	[6]	动作指令，包含6个关节位置（肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部滚动、夹爪位置）
observation.state	float32	[6]	机器人状态观测，与动作空间一致（6个关节位置）
observation.images.front	video	[480, 640, 3]	前置摄像头视频流（AV1编码，RGB，30fps）
observation.images.wrist	video	[480, 640, 3]	腕部摄像头视频流（AV1编码，RGB，30fps）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	回合索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据存储路径

• 数据文件路径（Parquet）： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径（MP4）： videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

该数据集的引用信息（BibTeX）尚未提供。

搜集汇总

数据集介绍

构建方式

该数据集是基于LeRobot机器人学习框架精心构建的专项数据集，聚焦于笔的拾取与放置任务。数据采集过程中，操作者操控SO-101型机械臂（so_follower型号），以30帧每秒的采样频率记录完整的操作流程。数据集包含54个演示片段，总计40500帧视觉与状态数据，每个片段均涵盖从接近目标、抓取到精确放置的全过程。数据以Parquet格式存储动作向量与关节状态，同时以AV1编码的MP4视频记录前视与腕部双视角影像，同步索引信息确保多模态数据的时序对齐。

特点

该数据集的核心优势在于其多模态融合与精细的动作表征。每条轨迹不仅包含6维关节角指令（肩部、肘部、腕部及夹爪），还同步提供高分辨率RGB图像流，分辨率为640×480像素，涵盖前视与腕部视角，为模仿学习提供丰富的视觉上下文。数据以片段（episode）形式组织，便于时间序列建模。此外，数据集明确划分训练集（全部54个片段），并附带标准化的元数据文件（info.json），详细记录特征结构、编码参数与数据路径，极大地提升了数据的可复现性与即用性，尤其适用于策略学习中的行为克隆与多模态对齐研究。

使用方法

数据集设计遵循LeRobot生态标准，可直接通过HuggingFace数据集库加载，或利用LeRobot自带的可视化工具（如演示空间）快速预览操作视频。在训练流程中，研究者可解析Parquet文件中的action与observation.state字段作为策略网络的输入输出目标，同时将图像帧解耦为独立视频流以适配ViT或CNN编码器。数据集的框架版本标注为v3.0，确保了与LeRobot代码库的兼容性。建议用户参照meta/info.json中的chunks_size与video_path结构调整数据加载管道，并利用splits字段实现特定的训练-验证划分，从而高效开展机器人操作技能的迁移学习或模型泛化能力评估。

背景与挑战

背景概述

该数据集由HuggingFace社区成员adhjlm于近期创建，依托LeRobot开源机器人学习框架构建，旨在捕捉六自由度机械臂执行笔类物体拾取与放置任务的精细操作。数据采集自SO-101型六轴机械臂，其结构特征涵盖肩部、肘部、腕部及夹爪等关键关节，并融合前视与腕部双视角视觉信息，以30Hz频率记录动作序列与状态观测。数据集的诞生顺应了具身智能领域对高质量、多模态机器人演示数据的迫切需求，为模仿学习与强化学习算法提供了标准化训练素材，尤其在精细操作策略泛化研究中具有潜在价值。其设计兼顾了数据规模、传感器多样性与任务聚焦性，有望推动机器人操作技能从仿真到真实世界的迁移研究。

当前挑战

该数据集所应对的领域挑战在于，机器人精细操作任务（如笔的拾取与放置）涉及复杂的接触动力学与视觉-运动协调，要求算法能够从高维视觉输入与低维本体感觉中学习稳健的策略，以应对物体姿态变化与夹爪精准控制。构建过程中面临多重技术难题：需同步校准多视角摄像头与关节编码器，确保时间戳对齐与空间配准；动作序列需在连续运动学约束下准确标注，避免相位漂移；数据采集需保持任务一致性，以克服演示差异。此外，仅含54个回合的有限规模对数据增强与跨场景泛化提出更高要求，而运动轨迹的六维动作空间与AV1视频压缩格式亦对数据解析与处理流程构成特定挑战。

常用场景

经典使用场景

该数据集专为机器人操作任务中的精细抓取与放置动作设计，核心场景聚焦于机械臂对钢笔的拾取与精准落位操作。数据采集自SO-101型机械臂，以30Hz频率同步记录六维关节角度指令、前视及腕部高分辨率视觉流，每段示范均完整覆盖从接近、抓取到放置的闭环动作序列。其结构特别适用于模仿学习与行为克隆方法的训练与评估，研究者可基于此数据构建端到端策略网络，在真实机器人平台上验证视觉-运动控制的映射能力。

实际应用

在工业自动化与智能服务领域，该数据集模拟了装配线上的精密零件拾放、分拣机器人的目标抓取，以及实验室中易碎或微小物品的转移等实际任务。机器人企业可借此数据训练操作员辅助系统，快速部署至电子元件组装、药品分拣等场景，减少对人工编程的依赖，提升生产柔性。其标准化的接口与Apache-2.0许可亦有助于跨团队协作，缩短算法从研发到落地的周期。

衍生相关工作

该数据集顺应了LeRobot生态的开放理念，其衍生工作已涵盖基于预训练视觉-语言模型的操作策略微调、跨机械臂域的知识迁移以及安全交互策略的鲁棒性测试。部分研究利用该数据验证了Diffusion Policy等生成式模型的性能，另一些工作则以此为基础构建了更复杂的长序列操作数据集，推动了大模型在机器人闭环控制中的下游应用。此外，该数据集的视频-状态双流结构也为多模态表征学习与因果推理的研究提供了宝贵素材。