HyeonseokE/SO101_teleop_close_drawer_wristfix_80epi

该数据集使用LeRobot创建，专注于机器人学任务，具体为SO101_teleop_close_drawer_wristfix_80epi，涉及通过遥操作关闭抽屉并固定手腕。数据集包含80个episodes，总计12474帧数据，以parquet文件和视频格式存储。数据特征包括动作（如肩部、肘部、腕部和夹爪的位置）、观察状态（包括关节位置和来自左腕摄像头和顶视图摄像头的图像），以及元数据如时间戳、帧索引和episode索引。视频分辨率为480x640，帧率为30fps，使用h264编解码器。数据集结构支持训练分割，适用于机器人控制和学习任务。This dataset was created using LeRobot and focuses on robotics tasks, specifically SO101_teleop_close_drawer_wristfix_80epi, involving teleoperated closing of a drawer with wrist fixation. It contains 80 episodes with a total of 12474 frames, stored in parquet files and video formats. Features include actions (e.g., positions of shoulder, elbow, wrist, and gripper), observation states (including joint positions and images from left wrist and top-view cameras), and metadata such as timestamps, frame indices, and episode indices. Videos have a resolution of 480x640, a frame rate of 30fps, and use the h264 codec. The dataset structure supports a training split and is suitable for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人遥操作任务提供标准化训练样本。通过固定手腕构型（wristfix）的方式，采集了80个完整操作回合（episodes），总计12474帧数据，涵盖单一任务——关闭抽屉。数据以30帧/秒的速率记录，并采用parquet格式存储结构化数据，同时将高分辨率视频（640×480像素）以H.264编码保存为MP4文件。训练集与全集重合，未划分验证集，便于直接用于模仿学习或强化学习的模型训练。

特点

数据集的核心特色在于其专注于单一精细化操作任务，并采用固定手腕姿态的遥操作策略，有效降低了关节耦合带来的动作复杂性。每条轨迹均包含6维动作向量（肩部、肘部、腕部及夹爪位置）及对应状态观测，同时提供左腕与俯视两个视角的实时视频流。多模态数据的对齐（动作、状态、图像与时间戳）使得该数据集特别适合开发基于视觉的机器人操控策略，且其紧凑规模（约300MB）便于快速迭代实验。

使用方法

用户可通过LeRobot库的API直接加载该数据集，利用其提供的标准接口访问动作、状态及图像序列。建议将80个回合的数据按需分割为训练与评估子集，或以滑动窗口形式提取子轨迹进行策略学习。视频帧可解码为NumPy数组，结合动作数据输入到模仿学习模型（如扩散策略或行为克隆）。研究者亦可利用其固定的机器人运动学模型（SO-100系列）进行仿真到现实的迁移训练，或作为多任务数据集扩展的基线参考。

背景与挑战

背景概述

该数据集由HyeonseokE等人于近期创建，依托Hugging Face的LeRobot框架，专注于机器人遥操作任务。核心研究问题在于通过人类示教数据实现机器人对抽屉关闭动作的精确模仿学习，属于模仿学习与机器人操作领域的交叉方向。数据集采集自SO-100型从动机械臂，包含80个示范轨迹、总计12474帧图像及6维动作状态信息，并配备左腕与俯视双视角视频数据。作为开放机器人数据集生态的一部分，其以Apache-2.0许可证发布，为复现和基准测试提供了标准化资源，对推动机器人精细操作技能学习具有潜在贡献。

当前挑战

领域层面，机器人抽屉关闭任务面临精准控制与泛化能力的双重挑战，机械臂需在六自由度空间内协调肩、肘、腕关节完成平稳的直线轨迹，而现有方法在对抗环境微小扰动时仍存在失败率。构建过程中，遥操作采集因人体动作差异导致轨迹分布不均，单任务80条轨迹的规模限制了模型对非固定布局的适应力；同时，固定腕关节视角的相机布置易产生视觉遮挡，且6D动作与2D图像之间的模态对齐偏差进一步增大了学习难度。

常用场景

经典使用场景

SO101_teleop_close_drawer_wristfix_80epi 数据集聚焦于机器人遥操作中的闭合抽屉任务，特别针对腕部固定条件下的操作场景。该数据集包含80个演示片段，记录了SO_100系列机械臂在执行闭合抽屉动作时的运动轨迹、关节状态及多视角视觉信息。其经典使用场景在于为模仿学习与行为克隆算法提供高质量的专家演示数据，研究者可基于此训练机器人从视觉输入直接映射到关节动作的策略，复现闭合抽屉这一精细操作技能。

实际应用

在实际应用中，该数据集可赋能家用服务机器人实现柜门或抽屉的自主闭合操作，提升日常环境中的任务完成率。其采集的固定腕部姿态数据有助于优化机器人在狭窄空间或特定工作台前的运动规划，减少碰撞风险。此外，该数据集可被集成到仿真训练框架中，用于先验知识迁移至实体机器人，从而降低真实环境下的调试成本，加速人机协作场景的部署。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于Transformer的时序动作分割模型、用于视觉-运动策略的对比表示学习方法，以及联合状态与图像输入的隐空间对齐技术。研究者围绕其数据特性开发了腕部约束下的自适应控制策略，并推动了多任务迁移学习的研究。这些工作不仅提升了单一任务的复现率，还催生了通用操作基元的提取，为构建跨场景机器人技能库奠定了方法论基础。