HyeonseokE/SO101-cap_open_pot_10fps_60epi

该数据集是一个机器人学数据集，使用LeRobot创建，专注于机器人操作任务。数据集包含60个episodes，总计20261帧，帧率为10fps，全部用于训练。机器人类型为so101_follower。数据集特征丰富，包括观测状态（6维关节位置）、动作（6维关节控制）、图像观测（来自顶部和左腕摄像头的480x640 RGB视频）、末端执行器位置（6维XYZRPY坐标）、二进制夹爪状态，以及技能和子任务信息（如自然语言描述、目标位置、验证问题等）。数据以parquet格式存储，视频以mp4格式提供，总数据量约为300MB（数据100MB，视频200MB）。适用于机器人学习、模仿学习或强化学习任务。This dataset is a robotics dataset created using LeRobot, focusing on robot manipulation tasks. It contains 60 episodes, totaling 20,261 frames at 10fps, all designated for training. The robot type is so101_follower. The dataset features include observation states (6-dimensional joint positions), actions (6-dimensional joint controls), image observations (480x640 RGB videos from top and left wrist cameras), end-effector positions (6-dimensional XYZRPY coordinates), binary gripper state, and skill/subtask information (e.g., natural language descriptions, goal positions, verification questions). Data is stored in parquet format, with videos in mp4 format, totaling approximately 300MB (100MB for data, 200MB for videos). It is suitable for robotics learning, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

SO101-cap_open_pot_10fps_60epi数据集基于LeRobot框架构建，专为机器人模仿学习与技能迁移研究设计。数据集通过录制的60个完整操作演示片段（episodes）采集而来，每段演示以每秒10帧的速率（10fps）采样，总计包含20261帧时序数据。所有数据采用Parquet格式存储，视频流则编码为H.264格式的MP4文件，并按照分块（chunk）与分片（file）的索引结构进行组织，便于高效分批加载。

特点

该数据集聚焦于单一操作任务——“开启锅盖”（cap_open_pot），但提供了极为丰富的多模态特征集合。除了标准的6维关节状态（包含肩部、肘部、腕部及夹爪位置）与6维动作指令外，还收录了来自顶部与左手腕双视角的640×480分辨率彩色视频流。尤为突出的是，数据集精心标注了技能（skill）与子任务（subtask）两层级自然语言描述，以及验证问题、目标位置等元信息，为高层语义理解与细粒度行为规划提供了坚实支撑。

使用方法

数据集完全兼容LeRobot生态系统，用户可通过Hugging Face上的可视化工具预览演示片段。在训练阶段，推荐使用LeRobot库内置的数据加载模块，按episode索引顺序读取Parquet文件与对应视频帧。特征中的‘observation.state’与‘action’可直接作为模仿学习的输入-输出对，而‘observation.images’则为视觉策略网络提供观测。多级语义标签（如skill.natural_language）可被用于条件式策略训练或后验任务解析。

背景与挑战

背景概述

SO101-cap_open_pot_10fps_60epi数据集是机器人操作领域的一项专门资源，由研究者HyeonseokE基于LeRobot框架创建，旨在推进精细操作技能的学习。该数据集聚焦于“打开锅盖”这一具体任务，通过SO101机械臂的6自由度关节状态与末端执行器位姿，结合多视角视觉输入（顶部与左腕摄像头），以10帧每秒的频率采集60个示范片段，总计超过2万帧数据。其核心研究问题在于如何从人类示范中高效提取可泛化的操作策略，以应对非结构化环境中的物体交互挑战。作为机器人模仿学习的宝贵数据源，该数据集为嵌入自然语言指令与子任务分解的研究提供了标准化平台，有助于推动机器人从感知到动作的端到端学习范式发展。

当前挑战

该数据集所解决的领域问题在于机器人精细操作中的模仿学习挑战，尤其是面对具有非刚性或铰链结构的物体（如锅盖）时，如何准确建模接触力与力矩的动态变化，并确保动作复现的鲁棒性。构建过程中面临的挑战包括：高精度同步多维传感数据（关节角度、视觉、力反馈）以消除时间偏移；在有限示范下（60个片段）保证数据多样性，避免过拟合；以及将自然语言描述与底层动作序列对齐，为技能泛化提供语义桥梁。此外，视频压缩编码（H.264）与高分辨率（480p）之间的平衡，及开源许可下的数据标准化，也是工程实现中的关键难点。

常用场景

经典使用场景

SO101-cap_open_pot_10fps_60epi数据集专为机器人操作技能学习而设计，聚焦于‘拧开锅盖’这一精细动作任务。该数据集包含60个演示回合，以10帧每秒的频率采集，记录了SO101型机器人从初始状态到成功完成开盖动作的完整轨迹。其经典使用场景在于为模仿学习与行为克隆算法提供标准化的训练样本，使机器人能够通过观察人类专家演示，习得精确的关节运动序列与夹爪控制策略，在仿真或实体环境中复现开盖操作。

实际应用

在实际应用层面，该数据集训练的模型可部署至家庭服务机器人，用于自主完成厨房中开盖、倾倒等关联任务；亦可拓展至工业质检场景，使机械臂能适应不同材质与松紧程度的容器。数据集内嵌的自然语言指令与子任务注释，为构建符合人类语义理解的智能机器人助手奠定了数据基础，助力实现机器人从预设程序执行向柔性协作模式的跨越。

衍生相关工作

该数据集衍生出的经典工作包括基于视觉-运动联合表示的特征嵌入方法，如利用对比学习对齐图像与关节状态以提升策略迁移性，以及结合语言条件的行为克隆模型，使单一策略能响应多种口头指令。此外，领域研究者基于此数据开发了分层决策框架，将开盖动作拆解为定位、抓取、旋转等子技能，并验证了时空注意力机制在细粒度操作建模中的有效性，为精密装配等同类任务提供了方法论参照。