HyeonseokE/SO101-PlaceSpoon_Ours_80epi

该数据集使用LeRobot创建，包含80个episodes和28434帧数据，涉及机器人任务。数据集针对so101_follower机器人类型，任务为单一任务（PlaceSpoon）。数据特征包括：机器人状态观测（6维关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）、动作（6维关节位置）、图像观测（顶部摄像头和左腕摄像头视频，分辨率480x640，10fps）、末端执行器位置（6维XYZRPY坐标）、技能信息（自然语言描述、验证问题、技能类型、进度、目标关节位置、目标末端执行器位置、目标夹爪位置）、子任务信息（自然语言描述、对象名称、目标位置XYZ坐标）以及时间戳、帧索引、episode索引等元数据。数据集用于机器人学习和控制研究，支持训练和验证模型。This dataset was created using LeRobot, containing 80 episodes and 28434 frames of data for robotics tasks. It is designed for the so101_follower robot type with a single task (PlaceSpoon). Features include: robot state observations (6-dimensional joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper), actions (6-dimensional joint positions), image observations (top camera and left wrist camera videos at 480x640 resolution, 10fps), end-effector positions (6-dimensional XYZRPY coordinates), skill information (natural language description, verification question, skill type, progress, goal joint positions, goal end-effector positions, goal gripper position), subtask information (natural language description, object name, target XYZ position), and metadata such as timestamp, frame index, episode index. The dataset is intended for robotics learning and control research, supporting model training and validation.

搜集汇总

数据集介绍

构建方式

SO101-PlaceSpoon_Ours_80epi数据集基于LeRobot框架构建，专注于机器人操作任务。数据采集过程使用SO-100系列机械臂在真实环境中执行放置勺子的单一任务，共收集80个完整轨迹（episode），总帧数达28,434帧。每个轨迹以10帧每秒的频率记录，并划分为训练集（全部80个轨迹）。数据存储采用分块Parquet格式，视频文件以H.264编码的MP4格式保存，便于高效存取。

特点

该数据集以多模态高保真数据为核心特点。状态空间涵盖6维关节角度（肩部、肘部、腕部及夹爪）和6维末端执行器位姿（xyzrpy），同时提供顶部与左手腕两个视角的480×640像素RGB视频流。特别之处在于包含丰富的语义标注：自然语言技能描述、验证问题、子任务目标位置（3维空间坐标）以及进度指标，为模仿学习和任务分解研究提供了结构化信息。

使用方法

数据集通过LeRobot库直接调用，支持标准的训练与评估流程。用户可加载Parquet文件获取时序状态与动作对，将视频帧作为视觉观测输入。数据特征中包含'skill.natural_language'等字段，便于实施语言条件策略或分割子任务。对于模仿学习算法，建议使用6维动作空间与6维状态观测，结合图像编码器实现端到端策略训练，也可利用验证问题字段进行交互式评估。

背景与挑战

背景概述

SO101-PlaceSpoon_Ours_80epi数据集由HyeonseokE团队于近年创建，旨在推动机器人操作领域的技能学习研究。该数据集基于LeRobot框架构建，聚焦于“放置勺子”这一精细操作任务，通过SO101机器人平台采集了80个示范片段，共计28434帧数据，涵盖关节状态、末端执行器位姿、视觉图像及语言标签等多模态信息。其核心研究问题在于如何利用少量高质量的示教数据实现机器人对复杂操作技能的泛化与迁移。该数据集的发布为模仿学习、任务分解及人机交互等领域提供了宝贵的基准资源，促进了机器人从结构化环境向非结构化环境的能力拓展。

当前挑战

该数据集所解决的领域问题在于机器人精细操作技能的泛化挑战，即如何在有限示教下使机器人适应不同物体位置、姿态及环境变化，同时避免动作执行中的失误。构建过程中面临的主要挑战包括：1）多模态数据的精确同步与校准，需确保视觉、关节状态与末端执行器信息的时间对齐；2）语言指令与动作序列的语义映射，将自然语言描述的“放置勺子”任务准确编码为具体的运动参数；3）数据规模与质量的平衡，80个片段虽具代表性但不足以覆盖所有操作变体，需通过数据增强或迁移学习弥补样本稀疏性；4）复杂场景下的视觉干扰处理，如光照变化和物体遮挡对摄像头观测的鲁棒性要求。

常用场景

经典使用场景

在机器人学习与模仿学习的交叉领域中，SO101-PlaceSpoon_Ours_80epi数据集为研究精细操作技能提供了宝贵的资源。该数据集专注于“放置勺子”这一具体任务，通过采集SO-101机械臂在80个示范轨迹中的关节状态、视觉观测与末端执行器位姿等多模态数据，为研究者提供了标准化的训练与评估基准。其经典使用场景包括利用行为克隆、逆强化学习或基于视觉的运动策略来学习从感知到动作的映射关系，尤其适用于探索如何在桌面上完成高精度的餐具摆放操作。丰富的结构化信息，如技能目标位置与子任务自然语言描述，使得该数据集在细粒度动作分析与技能分解研究中扮演着关键角色。

衍生相关工作

SO101-PlaceSpoon_Ours_80epi数据集的公开催生了一系列衍生研究工作。在算法层面，研究者基于其结构化标注开发了多任务学习框架，利用共享的视觉编码器同时预测关节位置与末端执行器位姿，提升了数据利用效率。在系统层面，该数据集被用作LeRobot框架中的标准测试基准，促进了可迁移的模型架构设计，如引入注意力机制处理时序依赖。此外，结合自然语言技能描述，衍生出了人机交互中的零样本任务泛化方法，使得机器人能理解“将勺子放在盘子右侧”等指令。这些工作共同构建了一个从数据采集、模型训练到实际部署的完整生态，彰显了该数据集作为机器人学习基石的重要价值。

数据集最近研究

最新研究方向

当前，机器人学习领域正朝着从人类演示中高效获取精细操作技能的方向演进，SO101-PlaceSpoon_Ours_80epi数据集聚焦于“放置勺子”这一具身智能任务，精准捕捉了机械臂从肩部到夹爪的六维关节状态与视觉反馈信息。该数据集依托LeRobot框架构建，融合了顶部与左手腕双视角高清视频流，结合自然语言指令与子任务标签，为复杂长序列操作行为的模仿学习提供了结构化的多模态训练资源。随着具身智能与大模型结合的浪潮兴起，这类细粒度任务数据集在推动机器人泛化能力、技能迁移以及人机协作安全方面具有关键意义，为未来机器人在厨房等非结构化环境中实现自主精细操作奠定了数据基础。