HyeonseokE/SO101-CloseDrawer_Ours_60epi

该数据集由LeRobot创建，用于机器人学习任务，具体针对SO101机器人关闭抽屉的操作。数据集包含60个episodes，总计15666帧，数据以parquet文件和视频文件形式存储。特征包括机器人关节状态观测（6维浮点数）、动作指令（6维浮点数）、顶部和左腕摄像头的图像观测（480x640分辨率、3通道、10fps视频）、末端执行器位置（6维浮点数表示XYZ和欧拉角）、抓取器二进制状态、技能和子任务的自然语言描述、技能类型、进度、目标位置（关节和笛卡尔空间）、子任务对象名称和目标位置，以及时间戳、帧索引、episode索引等元数据。数据分割为训练集（全部60个episodes），适用于机器人模仿学习或强化学习研究。This dataset was created using LeRobot for robotics tasks, specifically focusing on the operation of closing a drawer with an SO101 robot. It contains 60 episodes with a total of 15,666 frames, stored in parquet and video files. Features include robot joint state observations (6-dimensional float32), action commands (6-dimensional float32), image observations from top and left wrist cameras (480x640 resolution, 3-channel, 10fps video), end-effector position (6-dimensional float32 for XYZ and Euler angles), gripper binary state, natural language descriptions for skills and subtasks, skill type, progress, goal positions (joint and Cartesian space), subtask object names and target positions, along with metadata such as timestamp, frame index, and episode index. The data is split into a training set (all 60 episodes), suitable for research in robot imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

SO101-CloseDrawer_Ours_60epi数据集基于LeRobot框架构建，以SO101_Follower机器人为载体，通过遥操作或预设策略采集了60个演示回合，共计15666帧数据，帧率为10FPS。所有数据按标准格式存储于Parquet文件中，并辅以H.264编码的高清视频记录。数据集仅包含单一任务——关闭抽屉，但通过多轮采集确保了动作多样性与环境的随机性，为模仿学习提供了坚实的训练基础。

使用方法

数据集通过LeRobot生态实现便捷使用。利用其可视化工具可快速预览回合视频，而编程接口则支持直接加载Parquet文件与同步视频帧。建议研究者将数据按默认划分（前60回合全部用于训练）载入PyTorch或TensorFlow框架，利用其附带的6维状态向量与双视角图像作为观测输入，以对应动作序列为监督信号，开展端到端模仿学习或基于语言条件的策略训练。数据存储格式清晰，便于自定义采样逻辑。

背景与挑战

背景概述

SO101-CloseDrawer_Ours_60epi数据集由HyeonseokE等人基于LeRobot框架构建，创建于机器人学习领域快速发展时期，专注于解决机械臂闭合抽屉这一精细操作任务。该数据集包含60个演示片段，共计15666帧，利用SO101跟随机器人采集了关节角度、末端执行器位姿、夹爪状态及多视角视觉信息（顶部与左腕相机），为模仿学习研究提供了高保真的专家示范。其影响力体现在：作为开源数据集（Apache-2.0许可），它降低了机器人精细操作研究的门槛，支持从状态空间到视觉输入的多模态学习范式的探索，推动了具身智能中复杂动作生成与泛化能力的研究。

当前挑战

数据集旨在攻克机器人技能学习中的领域难题：一方面，闭合抽屉涉及精确的关节协调与力控制，机械臂需在狭窄运动空间内完成线性轨迹且避免卡顿，对模仿学习的轨迹泛化性提出严苛要求；另一方面，构建过程中面临数据采集的瓶颈，仅依赖60个专家示教（约15.7万帧）在有限任务变体下难以覆盖真实场景中的抽屉阻尼差异、初始物位变化等动态干扰，且多模态数据（如视频、状态）的同步标定与噪声处理技术增大了系统复杂度，对高效复现与迁移学习构成挑战。

常用场景

经典使用场景

SO101-CloseDrawer_Ours_60epi数据集专注于机器人操作中闭合抽屉这一精细任务，为模仿学习与行为克隆范式提供了60个示范轨迹。其核心应用在于训练基于视觉与关节状态的策略网络——通过融合顶部与左手腕摄像头捕获的高清视觉信息，以及六维关节位置与末端执行器位姿，模型得以学习将感知映射至动作空间。数据集以10帧每秒的采样频率记录15666帧连续状态-动作对，覆盖从初始状态到目标关位的完整进程，特别适用于离线强化学习中的固定数据集策略优化，为闭环抽屉操作提供基准测试平台。

解决学术问题

该数据集解决了机器人日常操作中非结构化环境下的长时延精密控制难题，尤其是抽屉闭合这类涉及接触动力学与几何约束的任务。传统方法依赖手工设计状态机或精确动力学模型，但难以泛化至常见变体。通过提供包含自然语言技能描述、子目标位置及验证问题的高质量多模态数据，它为研究从观测到动作的端到端映射提供了条件。学术上，它助力探索分层强化学习中的子任务分解、技能迁移，以及利用语言约束进行意图对齐的范式，其结构化的技能进度标注更支持长期任务监督信号的设计与评估。

实际应用

在实际场景中，该数据集训练的模型可部署于家庭服务机器人或工业协作机器人，用于自动执行橱柜抽屉的开启与闭合操作。结合配备的so101_follower机械臂与视觉系统，机器人能适应不同抽屉的尺寸、摩擦系数及初始位置偏差，在厨房、办公室或仓储环境中辅助行动不便者或提升自动化效率。通过强化学习微调后的策略，还可拓展至推拉门、翻盖箱等类似任务，其自然语言接口为无编程经验用户提供了直观的任务指令方式，加速了智能家居与轻工业场景下的机器人落地进程。

数据集最近研究

最新研究方向

该数据集专注于机器人操作任务中的抽屉关闭动作，通过SO101机械臂的6自由度控制与多模态感知（包括顶部和左手腕摄像头视觉、末端执行器位姿及抓取状态），为模仿学习与行为克隆提供了精细化的训练样本。在机器人学习的前沿，该数据集可支撑基于大语言模型的任务分解研究，将自然语言指令（如“关闭抽屉”）映射为多阶段子任务序列，并结合技能进度与验证问题评估任务完成质量。当前，具身智能领域的热点在于构建可泛化的操作模型，而此类小规模、高标注度的数据集为探索少样本学习与任务迁移提供了可靠基准，尤其在家庭服务机器人中，精准的关门操作对安全性与交互效率具有深远意义，推动了从实验室环境向真实场景的落地进程。