CoRL2026-CSI/SO101-pnp_ma_100epi

该数据集包含100个成功的SO-101机器人拾放操作片段，这些片段是通过MA流程收集的。任务指令为：拾取红色方块并将其放置在蓝色盘子上。数据集摘要包括：100个片段、98,187帧、30 FPS、使用SO-101从动机器人、摄像头配置为顶部摄像头（640x480）和左腕摄像头（640x480）、视频编解码为H.264（yuv420p）、数据集格式为LeRobot v3.0风格本地结构。特征涵盖机器人状态/动作、顶部和腕部RGB观察值、末端执行器姿态、夹爪状态、技能注释、子任务注释、时间戳、帧索引和任务索引。收集笔记说明第58个片段经过手动检查后重新收集，上传版本已清理，parquet数据遵循元数据片段索引范围，所有视频重新编码为H.264。预期用途是用于机器人模仿学习、策略学习以及SO-101拾放行为的评估。This dataset contains 100 successful SO-101 robot pick-and-place episodes collected with the MA pipeline. The task instruction is: Pick up the red block and place it on the blue dish. Dataset summary includes: 100 episodes, 98,187 frames, 30 FPS, using the SO-101 follower robot, camera configuration with top camera (640x480) and left wrist camera (640x480), video codec H.264 (yuv420p), and dataset format in LeRobot v3.0-style local structure. Features include robot state/action, top and wrist RGB observations, end-effector pose, gripper state, skill annotations, subtask annotations, timestamps, frame indices, and task indices. Collection notes indicate that episode 58 was re-collected after manual inspection, the upload version was cleaned so parquet data follows metadata episode index ranges, and all videos are re-encoded to H.264. Intended use is for robot imitation learning, policy learning, and evaluation of pick-and-place behavior with SO-101.

搜集汇总

数据集介绍

构建方式

SO101-pnp_ma_100epi数据集由SO-101机器人通过MA流水线采集，专注于拾取与放置任务。机器人需将红色方块拾取并放置在蓝色碟子中。数据集包含100个成功回合，共计98,187帧图像，以每秒30帧的帧率录制。采集过程中，第58回合经人工检查后重新采集，最终版本经过清洗，确保Parquet数据与元数据片段索引范围一致，且所有视频均重新编码为H.264格式，保障数据质量与一致性。

特点

该数据集的核心特点在于其多模态感知与结构化标注。观测数据包含顶部摄像头与左手腕摄像头的640x480分辨率RGB图像，采用H.264编码。除视觉信息外，还提供机器人状态、动作、末端执行器姿态、夹爪状态、技能标注、子任务标注、时间戳、帧索引与任务索引，为模仿学习与策略评估提供了丰富的特征空间。数据集遵循LeRobot v3.0本地格式，便于集成到现有学习框架中。

使用方法

数据集专为机器人模仿学习、策略学习及SO-101平台上的拾取与放置行为评估而设计。用户可通过LeRobot框架加载数据，提取图像与状态特征，构建端到端的策略模型。推荐将数据划分为训练集与验证集，利用H.264压缩的高效视频流加速训练，并结合技能与子任务标注进行分层或序列化学习。数据集的清洗与标准化确保了直接复用与复现的可靠性。

背景与挑战

背景概述

SO101-pnp_ma_100epi数据集由致力于机器人学习的研究团队创建，旨在为SO-101机器人平台下的抓取与放置任务提供标准化训练资源。该数据集于近期发布，包含100条成功执行的演示轨迹，共计超过9.8万帧高帧率视觉观测数据，覆盖顶部与左腕双视角RGB图像，并辅以机器人状态、动作、末端执行器位姿及夹爪状态等关键信息。其出现填补了SO-101机器人操作任务中高质量演示数据的空白，为模仿学习与策略评估提供了坚实基础，尤其在家庭或工业场景的精细操作研究中具有重要推动作用。

当前挑战

该数据集所解决的领域核心问题在于机器人面对非结构化环境时，如何通过有限的演示学习泛化性强的抓取-放置策略，减少对大量人工编程的依赖。构建过程中面临多重挑战：首先，硬件系统需确保每次演示均成功执行，第58条轨迹的重录体现了对演示质量的严苛要求；其次，多模态数据（图像、状态、动作）的同步采集与格式统一存在技术难点，最终采用H.264编码与LeRobot v3.0标准格式以保证兼容性；此外，100条轨迹的规模是否足以支撑复杂策略的泛化，仍是未来需要探索的课题。

常用场景

经典使用场景

SO101-pnp_ma_100epi数据集专为机器人模仿学习与策略学习设计，是SO-101机器人平台下拾取与放置任务的经典数据资源。该数据集包含了100个由MA管道采集的成功操作片段，记录机器人从识别红色积木、精准抓取至稳妥放置于蓝色盘子中的完整行为序列。研究者可借此训练具备视觉-运动协调能力的端到端策略模型，利用高清顶置与手腕相机视频流，结合机器人状态与动作数据，实现从感知到执行的闭环控制。此数据集在机器人的高级操作技能习得中扮演着基准性角色，常用于验证策略泛化性与鲁棒性。

衍生相关工作

此数据集催生了多项具有代表性的研究工作，包括基于扩散策略的拾取放置行为克隆、视觉预训练模型在操作任务中的迁移学习、以及结合因果推断的鲁棒策略优化方法。研究者还围绕该数据构建了多模态对比学习框架，利用动作标签与视觉观测对齐来提升特征表示质量。在CoRL 2026等顶级会议中，以该数据集为基准的方法层出不穷，推动了条件式行为克隆与逆强化学习等范式的发展。这些衍生工作不仅深化了人类对机器人操作学习本质的理解，也为后续大规模数据集的设计提供了方法论指引。

数据集最近研究

最新研究方向

SO101-pnp_ma_100epi数据集聚焦于机器人模仿学习中的精确抓取与放置任务，通过采集SO-101机械臂在MA管道下的百次成功演示，为策略学习提供了高保真多模态观测数据（包含顶部与腕部RGB图像、末端执行器位姿及夹爪状态）。该数据集的前沿研究紧密关联具身智能领域对闭环控制与技能泛化的探索，例如利用H.264压缩视频流与统一元数据格式（LeRobot v3.0）支持大规模离线训练，并结合细粒度子任务标注推动分层模仿学习架构的发展。其CoRL 2026背景下的发布凸显了标准化数据集在复现机器人灵巧操作基准中的关键作用，尤其为可迁移策略的因果推理与纠错机制（如人工检查与重采样的质量管控流程）提供了实证基础。