HyeonseokE/SO101-CloseDrawer_Ours_40epi

该数据集使用LeRobot创建，包含机器人操作任务的数据，具体针对关闭抽屉任务。数据集包含40个episodes，总计10556帧，数据以parquet格式存储，视频文件以mp4格式存储。特征包括机器人关节状态观测（6个浮点数）、动作（6个浮点数）、图像观测（顶部和左腕摄像头，分辨率480x640，3通道，10fps）、末端执行器位置（6个浮点数）、夹爪状态（1个浮点数）、自然语言技能描述、验证问题、技能类型、进度、目标位置（关节和笛卡尔坐标）、子任务自然语言描述、对象名称、目标位置（3个浮点数）以及时间戳、帧索引、episode索引等元数据。数据集适用于机器人学习和模仿学习任务。This dataset was created using LeRobot and contains data for robotic manipulation tasks, specifically for closing a drawer. It includes 40 episodes with a total of 10,556 frames, stored in parquet format for data and mp4 format for videos. Features include robot joint state observations (6 floats), actions (6 floats), image observations (top and left wrist cameras, 480x640 resolution, 3 channels, 10fps), end-effector position (6 floats), gripper state (1 float), natural language skill descriptions, verification questions, skill type, progress, goal positions (joint and Cartesian), subtask natural language descriptions, object names, target positions (3 floats), and metadata such as timestamp, frame index, and episode index. The dataset is suitable for robot learning and imitation learning tasks.

搜集汇总

数据集介绍

构建方式

SO101-CloseDrawer_Ours_40epi数据集基于LeRobot框架构建，专注于机器人操作任务中的抽屉关闭动作。数据采集自SO101型追随者机器人（so101_follower），通过40个完整回合（episode）的示范操作记录而成，总帧数达10556帧。每条轨迹以10帧/秒的采样频率存储，并分割为多个数据块（chunk）与视频块，分别以Parquet和H.264编码的MP4格式保存。训练集包含全部40个回合，无验证或测试分割。数据集结构清晰，包含观测状态、动作指令、多视角图像（顶部与左腕摄像头）、末端执行器位姿、夹爪状态及技能标注等丰富模态，充分体现了对机器人精细化操作行为的系统性建模。

使用方法

该数据集默认集成于LeRobot生态系统中，用户可通过HuggingFace平台直接调用可视化工具预览轨迹数据。数据集以Parquet格式存储数值特征，视频则独立编码为MP4文件，便于按需加载与流式处理。在训练机器人策略时，建议使用LeRobot提供的DataLoader按回合索引读取数据，利用chunk分片机制高效管理内存占用。研究者可灵活组合状态、图像与动作特征以构建不同的模型输入，同时利用skill和subtask的语义标注实现分层强化学习或基于语言指令的模仿学习训练。

背景与挑战

背景概述

SO101-CloseDrawer_Ours_40epi数据集由研究人员HyeonseokE基于LeRobot框架创建，专注于机器人操作任务中的柜门关闭行为。该数据集收录了40个演示片段，共计10556帧，通过so101_follower机器人采集，包含六自由度关节状态、末端执行器位姿、夹爪状态及多视角视觉信息。数据集针对单一任务——关闭抽屉，提供了从观察状态到动作序列的完整映射，并纳入了技能与子任务的语义描述。作为机器人学习领域的高质量操作数据集，它为研究模仿学习、技能泛化及人机交互提供了标准化基准，推动了机器人从感知到执行的闭环方案发展。

当前挑战

该数据集面临的核心挑战包括：领域问题层面，机器人操作任务中从示教到自主执行存在显著的动态环境差异，如抽屉的摩擦特性、初始位置偏差及光照变化，要求模型具备强鲁棒性；构建过程中，40个片段的数据量有限，难以覆盖真实场景的多样性，且单一任务限制了技能迁移的能力。此外，数据采集时机器人关节状态的精确同步、多视角视频的高效编码与存储，以及技能标注的语义一致性，均对数据集的质量与可用性提出了严苛要求。

常用场景

经典使用场景

SO101-CloseDrawer_Ours_40epi数据集聚焦于机器人操作中一项极具代表性的精细技能——关闭抽屉。该任务要求机械臂精准规划六自由度关节运动，结合视觉反馈与环境交互，在有限空间内完成闭合动作。数据集包含40个演示回合、超一万帧时序数据，以及多模态信息（高清俯视与手腕相机图像、关节状态、末端执行器位姿等），为模仿学习与行为克隆等经典范式提供了标准化训练基准。研究者在训练策略网络时，常利用此数据集的连续状态-动作对来学习从视觉输入到关节位置映射的端到端控制策略。

解决学术问题

该数据集有效回应了机器人领域中数据匮乏与任务泛化性不足的突出困境。通过系统性地记录同一任务下的多样化轨迹，为研究闭环控制中的动作时序一致性、多视角视觉融合策略，以及技能迁移评估提供了可靠支撑。学界可借助此数据集深入探索如何进行精确的位姿估计与抓取后的协同操作，验证算法在面对物理交互时对噪声与阻力的鲁棒性。其开源属性极大地降低了重现前沿工作（如扩散策略或基于Transformer的决策模型）的门槛。

实际应用

在实际工业与家庭服务场景中，关闭抽屉构成了整理与收纳环节的底层逻辑。该数据集训练的策略可直接部署于具备类似自由度的协作机器人，例如在智能仓库中管理密集储物单元，或在养老辅助机器人中完成橱柜归位等精细化任务。结合数据集中的语言标签与验证问题，还可开发人机交互界面，让机器人依据自然语言指令（如“请关上最上层的抽屉”）自主执行相关操作，拓展了非结构化环境下机器人服务的边界。

数据集最近研究

最新研究方向

SO101-CloseDrawer_Ours_40epi数据集聚焦于机器人操作任务中的精细闭环控制，具体围绕抽屉闭合这一典型家居场景展开。当前前沿研究方向集中于结合视觉-语言模型与模仿学习，通过多模态数据（包括顶部和手腕视角的高清视频、关节状态及自然语言指令）提升泛化能力。该数据集所涉及的热点事件包括具身智能中基于LeRobot框架的标准化数据采集流程，以及基于40个演示片段的高效策略学习。其意义在于为机器人精细化操作提供了丰富的结构化训练样本，推动了从封闭环境到开放场景中任务泛化的研究，尤其在少样本学习和多任务迁移方面具有重要价值。