CoRL2026-CSI/SO101-CloseDrawer_Ours_30epi

这是一个使用LeRobot创建的机器人学习数据集，专门用于训练和评估机器人操作任务，特别是关闭抽屉的动作。数据集包含30个完整的情节（episodes），总计7970帧数据，帧率为10fps。数据以Parquet格式存储，并附带MP4格式的视频文件。数据集的特征包括机器人关节状态观察（6维浮点数）、动作（6维浮点数）、两个摄像头视角的图像观察（顶部和左腕，分辨率480x640，RGB视频）、末端执行器位置（6维浮点数）、二进制夹爪状态、技能相关的自然语言描述和验证问题、技能类型和进度、目标位置（关节和笛卡尔坐标）、子任务的自然语言描述、对象名称和目标位置，以及时间戳、帧索引、情节索引等元数据。数据集适用于机器人控制、模仿学习或强化学习研究。This is a robotics learning dataset created using LeRobot, designed for training and evaluating robot manipulation tasks, specifically focusing on closing drawer actions. The dataset includes 30 complete episodes, with a total of 7970 frames at a frame rate of 10fps. Data is stored in Parquet format and accompanied by MP4 video files. Features include robot joint state observations (6-dimensional floats), actions (6-dimensional floats), image observations from two camera views (top and left wrist, 480x640 resolution, RGB video), end-effector position (6-dimensional floats), binary gripper state, skill-related natural language descriptions and verification questions, skill type and progress, goal positions (joint and Cartesian coordinates), subtask natural language descriptions, object names and target positions, as well as metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for robotics control, imitation learning, or reinforcement learning research.

搜集汇总

数据集介绍

构建方式

SO101-CloseDrawer_Ours_30epi数据集是基于LeRobot框架构建的机器人操作数据集，专为研究精细操控任务而设计。该数据集通过远程操作技术，利用SO101_Follower机器人平台，在真实环境中采集了30个完整的操作回合，总计7970帧数据。每个回合均以10帧/秒的速率记录，涵盖了从初始状态到目标完成的完整过程。数据以Parquet格式存储，每1000帧为一个数据块，同时包含H.264编码的同步视频流，帧率为10帧/秒，图像分辨率为480×640像素。整个数据集以Apache 2.0许可证发布，旨在服务于机器人学习社区，为模仿学习与技能迁移研究提供标准化数据资源。

特点

该数据集的核心特点在于其多模态、精细化的数据结构和任务导向的标注体系。观测空间包含6维机器人关节位置状态、6维末端执行器位姿、2路视觉图像（顶部视角和左腕视角）以及二进制夹爪状态，完整表征了机器人的感知与执行状态。动作空间则直接对应6维关节位置控制信号。尤为突出的是，数据集引入了层次化的技能标注：包含自然语言描述、验证问题、进度指标、目标位置等信息，还将复杂任务拆分为子任务，每个子步骤设有自然语言描述、操作对象名称及三维目标位置。这种结构不仅支持端到端的策略学习，更可推动子任务分解与技能抽象等领域的研究突破。

使用方法

使用该数据集时，研究者可借助LeRobot工具链实现高效加载与可视化。通过访问HuggingFace上的可视化界面，可直接浏览数据样本。编程中，利用LeRobot提供的Python接口，用户可轻松读入Parquet格式的观测序列与动作指令，并同步提取视频帧数据。由于数据集已预定义训练集（全部30个回合），研究者可直接划分用于模仿学习或行为克隆模型的训练。数据特征中包含的索引信息（episode_index、frame_index）便于序列化处理，而技能与子任务字段则支持条件化策略的学习。结合机器人仿真环境，该数据集还可用于策略迁移与泛化性验证实验。

背景与挑战

背景概述

SO101-CloseDrawer_Ours_30epi数据集由CoRL2026-CSI研究团队于近期创建，依托LeRobot框架构建，旨在为机器人操作技能学习提供精细化、多模态的演示数据。该数据集聚焦于“关闭抽屉”这一典型的日常操作任务，通过SO101_Follower机器人平台采集了30个演示片段，共计7970帧，涵盖了关节位置、末端执行器位姿、手爪状态及多视角视觉图像等丰富信息。其核心研究问题在于探索机器人如何从有限的演示中高效学习精细的接触式操作，尤其是涉及物体姿态变化与环境交互的场景。作为CoRL2026会议相关工作的支撑数据，该数据集有望推动模仿学习与任务泛化在机器人操作领域的发展，为后续研究提供基准性资源。

当前挑战

该数据集所解决的领域挑战在于机器人在非结构化环境中执行闭合抽屉这类接触式操作时，需同时兼顾运动规划精度、力位混合控制以及视觉反馈的实时匹配，现有方法常因演示数据不足或模态单一而泛化能力有限。构建过程中面临的挑战包括：确保30次演示在任务目标一致的前提下，覆盖不同初始抽屉位置与开合状态，以增强数据多样性；同步记录高帧率（10FPS）的6维关节动作与多视角视频，并精确对齐时序信息；以及设计语义化的技能标签（如自然语言描述、验证问题）与结构化子任务标注，为后续多层次任务分解提供可学习的监督信号。

常用场景

经典使用场景

SO101-CloseDrawer_Ours_30epi数据集专为机械臂智能操控研究设计，其核心应用场景聚焦于模仿学习与行为克隆任务。基于SO101型机械臂，该数据集记录了30个完整轨迹的“关闭抽屉”操作，涵盖6维关节角度状态（位置与夹爪）及对应的动作指令，同时提供了顶部和左手腕两个视角的640×480视频序列。研究者可借助该数据集训练机器人操作策略，使机械臂通过端到端学习，从高维视觉观察和低维本体感知中精准复现关闭抽屉这一实际产线或家居环境中常见的精密操作行为，尤其适用于评估动作序列建模与多模态融合技术的性能。

衍生相关工作

围绕该数据集衍生了多项创新性研究工作。一方面，研究者利用其多视角图像与关节状态信息，结合Transformer架构与扩散策略，开发出能基于视觉条件生成平滑动作序列的条件式行为克隆模型；另一方面，数据集中的自然语言技能描述与子任务进度标注，启发了融入语言反馈的闭环操作框架，使机械臂能在执行过程中根据验证问题自我修正动作混淆。此外，该数据集作为LeRobot生态的标准示例，还被用于对比不同动作表示空间（如笛卡尔空间与关节空间）在细粒度操作任务中的学习效率，催生了混合框架的探索。这些工作共同推动了机器人从原始示范到语义理解与泛化能力的演进。

数据集最近研究

最新研究方向

随着具身智能与模仿学习的迅猛发展，机器人从人类演示中习得复杂操作技能已成为前沿热点。SO101-CloseDrawer_Ours_30epi数据集应运而生，聚焦于“关闭抽屉”这一精细的日常操作任务，为研究低样本条件下的灵巧操作提供了宝贵资源。该数据集采用SO-100系列双臂机器人采集30个演示回合，融合关节状态、末端执行器位姿、灵巧手开合及双视角视觉流等多模态数据，并嵌入子任务目标与自然语言指令，为跨模态任务对齐与因果推理提供了结构化支撑。其发布恰逢CoRL 2026等顶级学术平台，呼应了学界对数据高效、可复现的机器人学习基准的迫切需求。该数据集不仅推动了从原始轨迹到技能分解的研究范式转型，还为构建通用家务操作智能体奠定了实验基础，具有深远的研究意义。