CoRL2026-CSI/SO101-CloseDrawer_Ours_50epi

该数据集是一个用于机器人学研究的机器人操作数据集，具体任务是关闭抽屉。它使用LeRobot框架创建，涉及so101_follower机器人类型。数据集包含50个完整的情节（episodes），总计13143帧数据，以10帧每秒的速率采集。数据以parquet文件格式存储，并附有相应的视频文件。数据集的特征丰富，包括机器人的状态观测（如6个关节的位置、末端执行器的XYZRPY坐标、夹爪的二进制状态）、动作（6个关节的目标位置）、来自顶部和左手腕摄像头的图像观测（分辨率为480x640的RGB视频）、技能信息（如自然语言描述、验证问题、技能类型、进度、目标关节位置和末端执行器位置）、子任务信息（如自然语言描述、对象名称、目标位置）以及时间戳、帧索引、情节索引等元数据。数据集仅包含训练集，适用于机器人控制、模仿学习或强化学习等任务。This dataset is a robotics manipulation dataset for research purposes, specifically focused on the task of closing a drawer. It was created using the LeRobot framework and involves the so101_follower robot type. The dataset contains 50 complete episodes, totaling 13143 frames, collected at a rate of 10 frames per second. Data is stored in parquet format along with corresponding video files. The dataset features a wide range of information, including robot state observations (such as positions of 6 joints, XYZRPY coordinates of the end-effector, binary gripper state), actions (target positions for 6 joints), image observations from top and left wrist cameras (RGB videos with 480x640 resolution), skill information (e.g., natural language descriptions, verification questions, skill type, progress, target joint positions, and end-effector positions), subtask information (e.g., natural language descriptions, object names, target positions), and metadata like timestamps, frame indices, and episode indices. The dataset includes only a training split and is suitable for tasks such as robot control, imitation learning, or reinforcement learning.

搜集汇总

数据集介绍

构建方式

SO101-CloseDrawer_Ours_50epi数据集依托于LeRobot框架构建，聚焦于机器人关闭抽屉这一精细操作任务。其采集过程基于SO101型从属机器人平台，通过遥操作或预设策略，在真实物理环境中完成了50次完整任务演示。每一次演示都被记录为一个独立的episode，共计捕获了13,143帧时序数据，涵盖了机器人从初始状态到成功关门全过程的关节状态、视觉图像与操作指令。数据以chunk分块形式存储于Parquet文件与MP4视频文件中，并遵循Apache-2.0开源许可进行发布。

使用方法

使用本数据集时，研究者可借助LeRobot库提供的标准数据加载接口，通过指定config配置直接读取Parquet格式的时序数据与对应的视频流。数据集默认划分了全部50个episodes作为训练集，便于直接开展监督学习实验。在模型训练中，可以将6维的观测状态与自然语言指令作为输入，以对应的6维动作序列作为预测目标。视觉数据作为可选的辅助模态，可通过视频编码器与状态特征进行跨模态融合，以提升操作策略的泛化能力。同时，数据集中包含的技能验证问题字段为构建具备自我评估能力的机器人系统提供了天然的基准标注。

背景与挑战

背景概述

SO101-CloseDrawer_Ours_50epi数据集由CoRL2026-CSI研究团队于近期创建，依托于LeRobot开源平台，旨在为机器人操作学习提供精细化数据支持。该数据集聚焦于“关闭抽屉”这一基础但具有代表性的灵巧操作任务，通过SO101_Follower型机器人采集了50个完整回合、总计超过13000帧的高频（10 FPS）数据。核心研究问题在于如何通过多模态感知（包括顶部与左腕部视觉、关节状态、末端执行器位姿及夹爪状态）与自然语言技能描述，构建可泛化的机器人技能学习模型。作为面向具身智能领域的新兴数据集，它为验证模仿学习、强化学习及视觉-语言驱动的机器人控制方法提供了标准化基准，有望推动家居环境中精细操作任务的自动化研究。

当前挑战

该数据集所解决的领域问题在于，机器人操作中的精细任务（如抽屉关闭）需兼顾精确的力位控制与多步上下文理解，而现有公开数据常缺乏结构化的语言标注与多视角观测融合。构建过程中，挑战集中于数据一致性维护：SO101机器人的6自由度关节空间与笛卡尔空间状态需同步记录，且夹爪开关的二元状态与连续位置信息需与时间戳精确对齐。多模态数据融合的复杂性体现在，视频流（H.264编码，480×640分辨率）与高频遥测数据（10 Hz）的异构采样需通过parquet分块存储实现高效检索，同时自然语言注释（技能描述、验证问题、子任务目标）的语义标注对标注质量提出了高要求。**

常用场景

经典使用场景

SO101-CloseDrawer_Ours_50epi数据集是专为机器人操作技能学习而构建的高质量基准，聚焦于“关闭抽屉”这一精细操作任务。该数据集由SO101跟随机器人采集，包含50个完整回合、超过1.3万帧数据，涵盖了6维关节状态、末端执行器位姿、夹爪状态以及多视角视觉输入（顶部与左腕相机）。其经典使用场景在于为模仿学习与行为克隆算法提供标准化的训练与评估平台，研究者可基于此数据集训练机器人从视觉与状态信息中学习闭环控制策略，实现抽屉关闭动作的精确复现。

解决学术问题

该数据集精准回应了机器人学习领域中数据稀缺与任务泛化性不足的学术痛点。通过提供高频率、多模态的精细操作数据，它有效支撑了基于视觉的运动策略研究，解决了传统方法中状态估计困难、样本效率低下等问题。其结构化特征（包括技能语言描述、验证问题及子任务分解）为探究任务分解、元学习及语言引导的机器人控制提供了关键数据基础，推动了机器人从示教中自主抽象操作模式的研究进展，对提升模型在复杂环境下的鲁棒性与可迁移性具有深远意义。

实际应用

在实际应用层面，该数据集为智能家居与服务机器人领域提供了扎实的技术支撑。它模拟了家庭环境中常见的柜体交互场景，使得机器人能够通过少量示教快速掌握抽屉开关这类高频日常操作。基于该数据集训练的模型可被集成至通用机器人操作系统中，助力机器人完成物品存取、厨房整理等实际任务。此外，多视角视觉数据的融入使得机器人能在光照变化、遮挡等干扰下保持操作稳定性，为物流仓储、医疗辅助等场景的自动化设备部署提供了可复用的解决方案。

数据集最近研究

最新研究方向

该数据集聚焦于机械臂完成‘关闭抽屉’这一精细操作任务，属于具身智能领域中模仿学习与控制策略的前沿探索。依托SO101机器人与LeRobot仿真平台，数据集以50个示范轨迹、超过万帧的同步观测（包括关节状态、夹爪位姿与多视角视觉流）为基石，为研究少样本条件下的策略迁移与技能泛化提供了标准化测试床。当前，研究热点集中于利用此类细粒度操作数据训练基于扩散或Transformer的端到端策略，以突破机器人从仿真到现实（Sim-to-Real）的瓶颈。该数据集的发布，标志着在家庭服务、仓储自动化等场景中，机器人执行复杂接触式任务的可行性与可复现性迈出了关键一步。