so101_duct_tape_pick_place

该数据集是使用LeRobot框架创建的机器人数据集，适用于机器人相关任务。数据集包含25个episodes，总计10729帧，对应一个任务。数据以Parquet文件格式存储，总数据文件大小约为100 MB，关联的视频文件大小约为200 MB，视频帧率为30 FPS。数据集仅包含训练集划分。核心特征包括：1) 动作（action）：一个6维浮点向量，代表机器人关节位置（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹持器位置）；2) 观察状态（observation.state）：一个与动作结构相同的6维浮点向量，表示机器人当前关节状态；3) 图像观察：来自前置摄像头（observation.images.front）和腕部摄像头（observation.images.wrist）的视频数据，每个视频帧的分辨率为640x480，3通道彩色，使用h264编解码器；4) 元数据字段：包括时间戳、帧索引、episode索引、数据索引和任务索引，用于标识数据点。数据集采用Apache 2.0许可证。This dataset is created using the LeRobot framework for robot-related tasks. It contains 25 episodes, totaling 10729 frames, corresponding to one task. The data is stored in Parquet format, with a total data file size of approximately 100 MB and associated video files of about 200 MB, with a video frame rate of 30 FPS. The dataset includes only a training set split. Key features include: 1) Action: a 6-dimensional floating-point vector representing robot joint positions (shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper position); 2) Observation state (observation.state): a 6-dimensional floating-point vector with the same structure as action, indicating the current robot joint state; 3) Image observations: video data from a front camera (observation.images.front) and a wrist camera (observation.images.wrist), with each video frame having a resolution of 640x480, 3-channel color, using the h264 codec; 4) Metadata fields: including timestamp, frame index, episode index, data index, and task index for identifying data points. The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

在机器人操控领域，针对精细操作任务的数据集构建一直是研究难点。本数据集基于Hugging Face的LeRobot框架构建，聚焦于so_follower机器人的胶带拾放（duct_tape_pick_place）任务。数据采集包含53个完整演示片段，总计21646帧，覆盖两种不同任务场景。每个演示片段以30帧/秒的速率记录，包含来自前向和腕部两个视角的640×480分辨率H.264编码视频，以及机器人六个关节的实时状态与动作指令，所有动作数据以32位浮点数形式存储。

特点

该数据集的突出特点在于其多模态融合与结构化设计。同步采集高分辨率视觉流与关节空间的状态动作对，为模仿学习提供丰富特征。视频采用标准H.264压缩，兼顾存储效率；六维动作空间覆盖肩部、肘部、腕部及夹爪的全自由度控制。通过清晰的episode索引与task标签，支持细粒度任务解耦。100MB的parquet文件与200MB的视频存储方案，平衡了数据完整性与可传输性，是少样本机器人技能学习的理想资源。

使用方法

研究者可通过LeRobot框架便捷调用该数据集。数据按chunk-{index}/file-{index}.parquet分片存储，视频对应组织在videos目录下。使用内置DataLoader加载时，可自然获得'action'、'observation.state'及双视角图像字段，直接用于策略网络训练。建议按'0:53'的默认分割进行全量训练，也可基于'task_index'字段筛选特定任务数据。由于数据集已标准化为v3.0格式，兼容常见的PyTorch或TensorFlow数据处理流水线，适用于行为克隆、扩散策略等模仿学习算法。

背景与挑战

背景概述

在机器人操作领域，精细灵巧操作任务一直是研究的前沿与难点，尤其是涉及柔性物体（如胶带）的抓取与放置操作。so101_duct_tape_pick_place数据集由Hugging Face LeRobot社区创建，采用so_follower型机器人平台，通过53个示范轨迹、超过2.1万帧的高频（30 FPS）观测数据，系统记录了从肩部到夹爪的六自由度关节状态以及前视与腕部双视角视觉信息。该数据集专注于两项核心操作任务——胶带的抓取与放置，旨在为模仿学习与行为克隆算法提供高质量、标准化的训练基准。其影响力体现在为机器人柔性物体操控研究提供了一个可复现、可扩展的数据基础，推动了从传统示教到数据驱动策略的范式转变。

当前挑战

该数据集的核心挑战在于解决机器人对柔性、易形变物体（如胶带）的精准操控这一领域难题。与刚体抓取不同，胶带在抓取过程中形态会实时变化，对夹爪的力度、姿态与视觉伺服精度提出了极高要求。此外，数据集构建过程中面临样本效率与多样性之间的平衡挑战：53个示范轨迹虽覆盖了基础操作模式，但动作空间的连续性可能造成策略泛化时对训练数据的过拟合。同时，高帧率（30 FPS）的多模态数据（6维关节状态与2路640×480视频流）带来数据同步与存储开销，而基于LeRobot v3.0的parquet格式需处理非结构化视频与结构化状态的异构融合，这对批处理训练框架的实时性与一致性提出了技术挑战。

常用场景

经典使用场景

在机器人操作领域，so101_duct_tape_pick_place数据集被广泛用于模仿学习与行为克隆的研究。通过记录SO-100系列机械臂执行胶带抓取与放置任务的高频状态序列，该数据集为从视觉观察直接映射到关节动作的端到端模型提供了标准化训练素材。研究者通常利用其高频相机流与6维动作空间，构建能够泛化至不同初始物体位姿的鲁棒决策策略，成为验证先进模仿学习算法的典型基准。

解决学术问题

该数据集着重解决了机械臂精准操控类任务中数据稀疏性与动作离散化的学术难题。传统方法依赖手工设计的运动规划器，难以应对非结构化环境下的柔性物体操作。通过提供包含53个完整回合、超过2.1万帧的高精度人机遥操作数据，它为探索连续动作空间下的隐式策略学习、状态表征解耦以及多模态融合机制提供了可靠数据基础，有力推动了从感知到动作的联合推理方法论发展。

衍生相关工作

该数据集衍生出多项代表性工作，包括基于Transformer架构的时序动作预测模型、融合扩散策略的视动联合生成框架，以及面向低样本效能的元强化学习方法。研究者还从中提炼出面向SO-100平台的领域随机化增强策略，催生出多任务联合训练范式。此外，该数据集常作为基线，与CMU、Google等机构的同类精细操作数据协同，验证跨本体迁移学习的有效性，持续推动机器人数据标准化进程。