HyeonseokE/SO101-pnp_ma_20epi

该数据集是使用LeRobot工具创建的机器人操作数据集，专为SO101跟随者机器人设计。数据集包含20个episodes，总计19903帧数据，帧率为30fps，用于单个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集的特征包括机器人状态观察（如关节位置、末端执行器位置和姿态）、动作（关节位置）、图像观察（来自顶部摄像头和左手腕摄像头的视频，分辨率为480x640，RGB三通道）、技能相关信息（如自然语言指令、验证问题、技能类型、进度和目标位置）、子任务信息（如自然语言描述、对象名称和目标位置）以及时间戳、帧索引、episode索引等元数据。数据集适用于机器人学习和控制任务，特别是模仿学习和强化学习场景。This dataset is a robotics manipulation dataset created using the LeRobot tool, designed for the SO101 follower robot. It contains 20 episodes with a total of 19903 frames at 30fps, intended for a single task. The data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB. Features include robot state observations (e.g., joint positions, end-effector position and orientation), actions (joint positions), image observations (videos from a top camera and left wrist camera at 480x640 resolution with RGB channels), skill-related information (e.g., natural language instructions, verification questions, skill type, progress, and goal positions), subtask details (e.g., natural language descriptions, object names, and target positions), and metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for robotics learning and control tasks, particularly in imitation learning and reinforcement learning scenarios.

搜集汇总

数据集介绍

构建方式

SO101-pnp_ma_20epi数据集依托于LeRobot框架构建，专为机器人操作任务设计。该数据集通过遥操作方式记录SO101型机械臂执行拾取与放置（pick-and-place）任务的完整过程，共涵盖20个演示片段，累计19903帧数据，以30帧每秒的采样频率同步采集。数据存储采用分块Parquet文件与H.264编码视频相结合的方式，分别存放状态-动作时序数据（约100MB）及多视角视觉观测（约200MB），形成结构化的多模态经验池。

特点

该数据集的核心特色在于其丰富的多模态信息与细粒度的任务标注体系。每个时间步不仅包含6维关节状态、6维末端执行器位姿及夹爪的二元状态，还提供两路高清视频流（顶部与左手腕视角）。尤为突出的是，数据集中融入了结构化子任务描述，涵盖自然语言指令、目标物体名称与三维位置，以及各操作阶段的进度标记，为模仿学习与指令跟随研究提供了从原始感知到高层语义的层级化监督信号。

使用方法

使用者可通过LeRobot库便捷地加载与回放此数据集。在Python环境中安装LeRobot后，利用`dataset = load_dataset('HyeonseokE/SO101-pnp_ma_20epi')`即可获取标准化接口。数据以字典形式组织，每个episode包含完整的时间序列，用户可从中提取`observation.state`和`action`字段训练策略网络，亦可结合`observation.images.top`等视觉模态训练端到端驾驶模型。Hugging Face Spaces还提供了可视化工具，支持在线交互式浏览与验证每个演示片段的运动轨迹。

背景与挑战

背景概述

SO101-pnp_ma_20epi数据集由HyeonseokE等人创建，依托于LeRobot框架，专注于机器人操作领域中的拾取与放置任务。该数据集采集自SO101型机械臂，包含20个演示片段，总计近两万帧高保真运动数据，记录了三自由度关节角度、末端执行器位姿及双视角视觉图像等信息。其核心研究问题在于为模仿学习与基于视觉的运动规划提供标准化的训练样本，通过精细标注的技能类型、自然语言描述及子目标位置，推动机器人从人类示范中学习复杂操作动作。作为开源资源，该数据集以Apache-2.0许可发布，为机器人学习社区提供了可复现的基准，尤其在关节空间与任务空间联合建模方面具有重要参考价值。

当前挑战

该数据集所面对的领域挑战在于机器人拾取与放置任务中的泛化能力不足，传统方法难以应对物体姿态变化、环境光照干扰及夹爪精确控制等实际问题。构建过程中，始终面临长程操作中技能分解的困难，如何将单一拾取放置动作拆解为可标注的子任务并保持语义一致性成为关键瓶颈。此外，数据采集涉及机械臂轨迹的平稳性保障与多模态传感器同步，6个关节变量与图像帧的高频对齐增加了预处理复杂性。有限的20个演示片段也限制了数据多样性，需探索样本高效利用策略以提升模型在未见过场景下的鲁棒性。

常用场景

经典使用场景

SO101-pnp_ma_20epi数据集专为机械臂的拾取与放置（Pick-and-Place）任务而设计，是模仿学习与机器人操作领域的经典基准数据。该数据集包含20个完整演示片段，总计近2万帧高保真观测数据，涵盖六自由度关节状态、末端执行器位姿、双目视觉图像以及自然语言技能描述等丰富模态。研究者可借此训练机械臂在桌面场景中完成物体抓取与精准放置的闭环控制策略，尤其适用于基于行为克隆或扩散策略的机器人操作模型验证。

实际应用

在实际应用中，SO101-pnp_ma_20epi数据集为工业装配、仓储分拣及服务机器人提供了可复现的训练支撑。基于其采集的视觉和动作流，工程师能快速搭建具备视觉感知与灵巧抓取能力的原型系统，例如在传送带上识别并分拣特定物体。数据集中包含的末端执行器位姿与夹爪状态记录，可直接迁移至仿真环境调试模型，显著缩短从实验验证到产线部署的周期，尤其适用于对可靠性要求严苛的精细操作场景。

衍生相关工作

围绕该数据集衍生出一系列经典工作，例如基于扩散策略的抓取姿态优化模型、融合自然语言指令的分层任务规划架构，以及利用对比学习增强视觉特征鲁棒性的方法。学者们常将其作为评估不同模仿学习范式的固定基准，并与公开数据集如RLBench或BridgeData进行交叉比对，探索跨平台迁移的可能性。此外，该数据集的多模态结构启发了若干关于技能库构建与任务序列推理的研究，为通用机器人学习生态的扩展奠定了基础。