HyeonseokE/SO101-cap_open_pot_10fps_40epi

该数据集由LeRobot创建，用于机器人学任务，具体涉及机器人so101_follower执行一个任务（如打开锅盖）。数据集包含40个episodes，总计13504帧，帧率为10fps。数据以parquet格式存储，视频以MP4格式存储。特征包括机器人状态（如关节位置）、动作、顶部图像和左腕图像（分辨率480x640）、末端执行器位置、技能信息（如自然语言描述、目标位置）、子任务信息（如对象名称、目标位置）以及时间戳和索引。数据集适用于机器人控制、模仿学习或强化学习研究。This dataset was created using LeRobot for robotics tasks, specifically involving the robot so101_follower performing a task (e.g., opening a pot lid). It contains 40 episodes, totaling 13504 frames at 10fps. Data is stored in parquet format, with videos in MP4 format. Features include robot state (e.g., joint positions), actions, top and left wrist images (resolution 480x640), end-effector position, skill information (e.g., natural language descriptions, goal positions), subtask information (e.g., object names, target positions), and timestamps and indices. The dataset is suitable for robotics control, imitation learning, or reinforcement learning research.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人开盖操作任务，具体为SO101型机械臂执行打开锅盖的动作。数据采集以每秒10帧的速率进行，共收录40个完整操作回合（episode），总计13504帧数据。每个回合均包含同步记录的高清视频流（480×640像素，H.264编码）与多模态传感器状态，通过parquet格式分块存储（每块1000帧），并辅以MP4视频文件，确保数据的高效存取与长期可用性。

特点

数据集特征鲜明，不仅包含机械臂6自由度关节位置与末端执行器位姿（xyzrpy）等基础状态，还创新性地融入了自然语言技能描述（skill.natural_language）、验证问题（skill.verification_question）及子任务注解（subtask.natural_language），实现了动作序列与语义标签的深度耦合。此外，任务进度指标（skill.progress）与目标关节位置（skill.goal_position.joint）的同步记录，为模仿学习与行为克隆算法提供了丰富的监督信号，显著提升了数据在机器人操作泛化研究中的价值。

使用方法

推荐通过LeRobot库加载数据集，利用其内置的DataModule接口轻松读取parquet和视频文件。使用者可基于'observation.state'与'action'字段构建端到端策略模型，或借助'observation.images.top'和'observation.images.left_wrist'多视角视觉输入训练视觉运动策略。数据集的自然语言标签支持Task-oriented Prompting方法，而40个回合的完整轨迹序列可直接用于训练序列建模架构（如决策Transformer），以实现对开盖任务复杂操作模式的精确模仿与鲁棒执行。

背景与挑战

背景概述

在机器人学习领域，模仿学习（Imitation Learning）与基于示范的操控任务日益成为研究热点，其核心在于通过高质量、细粒度的传感器数据驱动机器人习得复杂操作技能。SO101-cap_open_pot_10fps_40epi数据集由研究人员HyeonseokE借助Hugging Face LeRobot框架创建，专注于单任务——开启锅盖（cap_open_pot）的精细操控。该数据集包含40个示范片段（episodes），共计13,504帧，以10帧每秒的采样频率记录，涵盖了6自由度关节状态、末端执行器位姿、夹爪二进制状态以及顶部和左手腕的双视角RGB视频。其特色在于引入了结构化技能标注，包括自然语言描述、验证问题、技能类型与进度、子任务目标和目标位置等元信息，为从感知到动作的端到端学习提供了丰富的语义监督。该数据集的发布推动了低样本、高精度的机器人操控研究，尤其为泛化迁移学习与技能分解任务提供了标准化基准。

当前挑战

该数据集所解决的领域核心挑战在于实现机器人对精确开盖这类接触式操控任务的高效模仿学习，克服了传统方法在复杂力交互与视觉遮挡下的模型脆弱性。构建过程中面临多重难题：首先，需要同步高帧率（10fps）的多源异构数据（6维关节位姿、6维末端笛卡尔位姿、夹爪状态及双视角640×480视频），并保证时间戳对齐的亚帧级精度；其次，40个仅含单一动素示范片段构成的小样本学习场景，要求人工标注细致的技能语义（如子目标位置和验证问题）以补偿数据量不足，这对标注的一致性和域内泛化性提出了严苛考验；最后，数据采集需在真实机器人平台上连续复现开罐动作，受限于机械磨损与传感器噪声，如何维持100MB非视频数据与200MB视频数据在200秒长序列内的信噪比稳定，是确保数据集实用性的关键瓶颈。

常用场景

经典使用场景

在机器人操作研究领域，SO101-cap_open_pot_10fps_40epi数据集为模仿学习与行为克隆提供了理想的基准平台。该数据集聚焦于机械臂开盖这一精细操作任务，通过40个演示回合、以10帧每秒的采样频率记录了超过1.3万帧的机器人状态、关节角度、末端执行器位姿以及多视角视觉观测数据。经典应用方式是利用观测图像与关节状态序列，训练策略网络从人类示范中直接学习动作映射，尤其适用于基于Transformer或扩散策略的端到端模仿学习范式。

实际应用

在实际工业与家庭服务场景中，该数据集为部署机器人执行精密操作提供了训练数据支撑。开盖动作广泛存在于化学试剂瓶封启、饮料罐开启及食品包装处理等流程中，该数据集训练的模型可直接迁移至协作机器人或移动操作平台，完成自动化样本前处理、厨房辅助等重复性任务。此外，其轻量级的数据结构（约300MB特征与视频）兼容边缘计算设备，有利于在实时性要求高的产线上实现快速部署与微调。

衍生相关工作

基于该数据集，学术界已衍生出多项典型工作。在算法层面，研究者利用其多模态标注探索了基于扩散模型的策略规划与基于视觉语言模型的指令条件控制；在benchmark层面，该数据集常被纳入LeRobot生态与RLLBench的对比评估体系，用于验证行为克隆、逆强化学习及离线强化学习等方法的有效性。其结构化的技能与子任务标签还催生了关于任务层次分解与技能复用的研究，推动了可泛化操作原语库的构建。