CoRL2026-CSI/SO101-pnp_ma_50epi

该数据集是一个机器人操作数据集，使用LeRobot创建，包含50个训练集片段，总计48542帧，帧率为30fps。数据集采用Apache 2.0许可证，涉及机器人类型so101_follower。数据特征包括：观测状态（6个关节位置）、动作（6个关节位置）、顶部和左腕部图像观测（480x640 RGB视频）、末端执行器位置（XYZRPY坐标）、夹爪二进制状态、技能信息（自然语言描述、验证问题、类型、进度、目标位置）、子任务信息（自然语言描述、对象名称、目标位置）以及时间戳和索引字段。数据以Parquet格式存储，视频以MP4格式存储，适用于机器人学习和强化学习任务。This dataset is a robotics manipulation dataset created using LeRobot, containing 50 training episodes with a total of 48,542 frames at 30fps. It is licensed under Apache 2.0 and involves the robot type so101_follower. Features include: observation state (6 joint positions), action (6 joint positions), top and left wrist image observations (480x640 RGB video), end-effector position (XYZRPY coordinates), gripper binary state, skill information (natural language description, verification question, type, progress, goal positions), subtask information (natural language description, object name, target position), as well as timestamp and index fields. Data is stored in Parquet format, with videos in MP4 format, suitable for robotics learning and reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

SO101-pnp_ma_50epi数据集基于LeRobot框架构建，专为机器人操作任务设计。数据采集自SO101型号的跟随机器人，通过远程操控或预设策略执行拾取与放置任务，共收集50个回合（episode），合计48542帧时序数据。每一帧均记录机器人的关节状态、末端执行器位姿、夹爪状态以及来自顶部和左腕摄像头的视觉图像。数据集以Parquet格式存储结构化的状态与动作序列，并辅以H.264编码的MP4视频文件，确保高效存取与回放。

特点

该数据集的核心特色在于其多模态融合与精细化的任务标注体系。除标准的机器人关节角度与图像外，数据集还包含自然语言描述的子任务、任务目标关节位置、目标末端位姿及目标夹爪状态，为语言引导的模仿学习提供了坚实基础。机器人状态与动作维度均为6维，分别对应肩关节、肘关节、腕部屈伸、腕部旋转及夹爪位置。数据集已预划分训练集与验证集，便于直接用于监督学习与策略评估。

使用方法

使用者可通过LeRobot工具库便捷地加载与可视化本数据集。调用`lerobot.common.datasets.load_dataset`函数即可获取训练与验证样本。每条样本包含`observation.state`、`observation.images.top`与`observation.images.left_wrist`等观测数据，以及对应的`action`动作向量。特别地，数据中的`skill.natural_language`与`subtask.natural_language`字段可用于开发语言条件策略，而`skill.goal_position.joint`与`skill.goal_position.robot_xyzrpy`则为目标导向的学习提供了精确的监督信号。

背景与挑战

背景概述

SO101-pnp_ma_50epi数据集由CoRL2026-CSI研究团队于近期创建，旨在推动机器人操作任务的模仿学习与技能泛化研究。该数据集聚焦于‘拾取与放置’（Pick and Place）这一基础但极具挑战性的机器人操作场景，收录了SO101型机械臂在50个示范片段、共计48542帧和30帧每秒的高频数据。每段序列详尽记录了6维关节状态、末端执行器位姿、多视角视觉图像（顶部与左腕部）、以及细粒度的技能与子任务标注（包括自然语言描述、目标位置和验证问题）。作为基于LeRobot框架构建的开源资源，该数据集为机器人领域提供了一个标准化的多模态示范学习基准，尤其适用于复杂任务拆解、视觉运动策略学习以及跨技能迁移的研究，对具身智能与自主操作系统的开发具有重要推动作用。

当前挑战

该数据集所解决的领域核心挑战在于机器人操作技能的学习与泛化。传统方法往往难以处理精细操作中的多模态感知融合、长序列任务拆解以及从示范中高效提取可迁移策略。数据集构建过程中面临的技术难点包括：高精度运动轨迹的同步采集与校准、多视角视频与状态信息的时间对齐、以及用于技能与子任务监督的语义标注的准确性与一致性。此外，在仅50个示范片段的有限数据规模下，如何克服模仿学习中的分布偏移与任务变异性，使得模型能够在未见场景中稳健执行拾取与放置操作，构成了数据驱动方法面临的关键瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，SO101-pnp_ma_50epi数据集专为模拟与真实环境中的拾取与放置（pick-and-place）任务而设计，包含50个高质量演示片段。其核心应用场景聚焦于通过模仿学习训练机械臂的精细操控策略，特别是针对SO101型号机械臂的6自由度关节运动及夹爪控制。数据集以30帧/秒的帧率记录了丰富的视觉与状态信息，包括俯视与左腕视角的RGB视频流，以及肩部、肘部、腕部等关节的实时位置与末端执行器位姿。这些多模态数据为研究者提供了理想的基准，用于训练基于视觉的策略网络，如行为克隆或扩散策略，从而在结构化环境中完成物体抓取与放置的精准复现。

实际应用

在实际工业与服务业中，该数据集的应用价值体现在加速自动化流程的部署。例如，在精密装配流水线上，机械臂可借助基于该数据集的训练模型，准确识别散乱工件并通过模仿学习完成抓取与装配动作。在仓储物流领域，数据集中的多关节控制与视觉反馈可用于训练机械臂进行包裹分拣与码垛，减少对人工编程的依赖。数据集的高频帧率与多视角图像也适用于家庭服务机器人，使其能够适应动态环境中的物体摆放与桌面整理任务，从而提升非结构化场景下的操作灵活性与安全性。

衍生相关工作

围绕SO101-pnp_ma_50epi数据集，衍生了一系列具有影响力的研究工作。在模仿学习框架中，研究者利用其多模态特性开发了基于扩散模型的动作生成方法，实现了更高精度的轨迹复现。在具身智能领域，该数据集被用于验证预训练视觉编码器结合行为克隆的性能，推动了视觉语言模型在机器人操控中的迁移应用。此外，数据集中的技能标注信息启发了分层强化学习的研究，例如将拾取与放置任务拆解为多个子技能，并通过元学习进行高效组合。这些工作共同丰富了机器人技能学习的理论体系，并为后续大规模数据集与基础模型的构建奠定了实证基础。