HyeonseokE/SO101-cap_close_pot_10fps_40epi

该数据集是一个机器人技术数据集，使用LeRobot创建，专为SO101型跟随机器人设计。数据集包含40个episodes，总计15052帧，覆盖2个任务，以10fps的帧率记录。数据以Parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集的特征包括：观测数据（如6维关节状态、顶部和左腕部摄像头图像、末端执行器位置、夹爪状态）、动作数据（6维关节动作）、技能数据（如自然语言指令、验证问题、技能类型、进度、目标位置）、子任务数据（如对象名称、目标位置）以及元数据（如时间戳、帧索引、episode索引）。所有数据仅用于训练集，适用于机器人控制、技能学习和视觉导航等研究。This dataset is a robotics dataset created using LeRobot, specifically designed for the SO101 follower robot. It includes 40 episodes, totaling 15052 frames, covering 2 tasks, recorded at 10fps. The data is stored in Parquet format, with a total data file size of 100MB and video file size of 200MB. The dataset features include: observation data (e.g., 6-dimensional joint states, top and left wrist camera images, end-effector position, gripper state), action data (6-dimensional joint actions), skill data (e.g., natural language instructions, verification questions, skill type, progress, goal positions), subtask data (e.g., object names, target positions), and metadata (e.g., timestamp, frame index, episode index). All data is allocated for the training split, suitable for research in robot control, skill learning, and visual navigation.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，准确模仿人类行为是提升机械臂自主性的关键。SO101-cap_close_pot_10fps_40epi数据集依托LeRobot框架构建，由SO101型机械臂通过遥操作采集拧紧锅盖这一精细操作场景下的40个完整演示片段。数据以10帧每秒的采样频率记录，共包含15052帧时序信息，并按照LeRobot规范将原始数据分割为训练集（0至40片段）及相应的视频与Parquet格式文件，确保了数据的高效存取与可复现性。

特点

该数据集的核心优势在于其多模态与结构化特征的深度融合。它不仅包含来自顶部与左手腕的双视角640×480分辨率H264编码视频流，还细致记录了6维关节状态、末端执行器位姿（xyzrpy）及夹爪开合状态等连续变量。尤为突出的是，数据集引入了自然语言技能标签、验证问题、子任务目标位置等语义层信息，为从感知到决策的端到端学习提供了丰富的标注基础，显著提升了数据在模仿学习与任务泛化中的实用价值。

使用方法

研究者可通过LeRobot库便捷地加载此数据集，利用其提供的标准化API进行训练与评估。典型使用流程包括：首先通过`load_dataset`函数读取Parquet序列和关联视频，然后提取`observation.state`与`action`字段作为模仿学习的输入输出对。此外，数据集中的`skill.natural_language`与`subtask.target_position`等字段可被用于训练具备语言理解与目标导向能力的智能体，支持在仿真或实体机器人上复现拧盖动作。

背景与挑战

背景概述

在机器人学习领域，模仿学习通过专家演示数据驱动智能体掌握复杂操作技能，然而高质量、结构化的任务专用数据集仍属稀缺资源。SO101-cap_close_pot_10fps_40epi 数据集由研究人员 HyeonseokE 基于 LeRobot 框架构建，旨在为机械臂精细操作任务提供标准化训练与评估基准。该数据集聚焦于“关闭锅盖”这一家居场景中的典型子任务，采集自 SO101 机械臂的 40 个演示片段，包含约 15052 帧以 10 FPS 采样的多模态数据，涵盖关节状态、末端执行器位姿、夹爪状态、顶部及左手腕摄像头视频，并标注了自然语言指令与子任务目标。其设计强调任务分解与技能验证：数据集内嵌技能类型、进度以及验证问题等元信息，为细粒度动作理解与具身智能研究提供了兼具可解释性与复现性的数据基础，在推动家庭服务机器人的精细化操作研究中具有重要参考价值。

当前挑战

该数据集构建与使用面临多项关键挑战。在领域问题层面，数据集中于单一任务“关闭锅盖”，采样帧数与演示片段有限，使得模型在泛化到不同锅具材质、初始位置或光照变化等场景时面临过拟合风险；同时，任务目标中自然语言指令与底层动作序列之间的语义鸿沟显著，如何从稀疏的多模态观测中鲁棒地涌现出精确的关节级控制策略仍待突破。在构建过程中，挑战则体现为数据采集的一致性与完整性：利用模仿学习录制 40 个演示时，需确保每一片段均包含完整的动作序列与正确的任务进度标签，任何演示中断或与技能定义不符的偏差都会污染数据集质量；此外，数据集以 chunk 形式存储的 parquet 文件与视频文件之间的时空对齐需要严格同步，而夹爪状态的二进制表示与连续关节角度之间的量化差异也增加了建模难度，对后续算法在时序依赖与多模态融合方面提出了更高的要求。

常用场景

经典使用场景

SO101-cap_close_pot_10fps_40epi数据集专为机器人操作任务中的开盖与关盖动作而设计，涵盖了40个完整演示片段，以10帧每秒的采样频率记录。该数据集通过so101_follower机器人采集，包含多视角视觉观测（顶部与左手腕摄像头）、关节状态、末端执行器位姿及夹爪二进制信息，并辅以自然语言技能描述与子任务目标，为模仿学习与行为克隆提供了精准的专家示范轨迹。其经典应用场景在于训练机器人学习精细的物体操作策略，例如从视觉输入直接映射到关节动作，实现自动化的锅盖闭合与开启任务。

解决学术问题

该数据集旨在解决机器人操作领域中的通用技能学习与迁移难题，具体聚焦于从少样本演示中高效泛化的学术挑战。通过提供结构化的多模态信息（视觉、状态、语言标签），它支撑了学者们探索如何将人类示教行为转化为鲁棒的机器人控制策略，突破了传统编程式控制的局限性。其意义在于促进了端到端模仿学习、基于模型的强化学习以及子任务分解等研究方向的发展，并为评估算法在精细操作场景下的泛化能力提供了标准化基准。

衍生相关工作

基于该数据集已衍生出一系列具有影响力的研究工作，涵盖了从迁移学习到多任务泛化的前沿方向。例如，学者们利用其多视角视觉特征开发了跨场景的域适应算法，实现了从模拟环境到真实世界的策略迁移。同时，该数据集的序列化状态与动作信息被用于训练行为克隆与逆强化学习模型，推动了机器人技能库的构建。此外，结合自然语言技能标签，相关研究探索了语言条件式策略网络，使机器人能依据语言指令动态调整操作行为，为通用机器人智能体的发展奠定了数据基石。