artem-fold-towel

该数据集是一个基于 LeRobot 框架构建的机器人操作数据集，采用 Apache-2.0 许可证发布。数据集包含单个任务（task_index=1），共 1486 个 episode，总帧数约 1996965 帧，以 30 FPS 采样。数据特征包括： - observation.state：14 维浮点向量，表示两个 UMI 机械臂的末端执行器位姿（x, y, z, rx, ry, rz）和夹爪状态（gripper），共两个机械臂。 - action：12 维浮点向量，表示两个 UMI 机械臂的 delta 动作（增量位置和旋转）。 - observation.images.umi1 和 observation.images.umi2：两个摄像头视角的视频流，分辨率为 600×800，3 通道，H.264 编码，30 FPS。 - timestamp：时间戳。 - frame_index：帧索引。 - episode_index：episode 索引。 - index：全局索引。 - task_index：任务索引（固定为同一任务）。 数据以 parquet 文件存储结构化数据，视频以 mp4 文件存储。数据集适用于机器人模仿学习、行为克隆、多视角视觉运动策略等任务。This dataset is a robot manipulation dataset built on the LeRobot framework, released under the Apache-2.0 license. It contains a single task (task_index=1) with 1486 episodes, approximately 1,996,965 frames, sampled at 30 FPS. Data features include: observation.state (14-dimensional float vector representing the end-effector poses and gripper states of two UMI robot arms), action (12-dimensional float vector representing delta actions for two UMI robot arms), observation.images.umi1 and observation.images.umi2 (video streams from two camera views, resolution 600×800, 3 channels, H.264 encoding, 30 FPS), timestamp, frame_index, episode_index, index, and task_index. Data is stored in parquet files for structured data and mp4 files for videos. The dataset is suitable for tasks such as robot imitation learning, behavior cloning, and multi-view visual motor policies.

原始信息汇总

数据集概述：artem-fold-towel

• 任务类型：机器人操作（Robotics）
• 标签：LeRobot
• 许可证：Apache-2.0
• 创建工具：LeRobot 框架

数据集规模

• 总片段数（Episodes）：1513
• 总帧数（Frames）：2,034,134
• 任务数：1
• 数据划分：仅包含训练集（train: 0:1513）
• 数据文件大小：约100 MB
• 视频文件大小：约200 MB

数据特征

• 采样频率：30 FPS
• 观测状态（observation.state）：14维浮点数组，包含两个UMI机器人的位置（x, y, z）、旋转（rx, ry, rz）及夹爪状态（gripper）
• 动作（action）：12维浮点数组，包含两个UMI机器人的目标位置增量（d_x, d_y, d_z）和旋转增量（d_rx, d_ry, d_rz）
• 观测图像：两个摄像头（umi1 和 umi2），分辨率为 600×800，RGB三通道，H.264编码，30 FPS
• 其他字段：时间戳、帧索引、片段索引、全局索引、任务索引

数据格式

• 数据文件：Parquet 格式，存储于 data/*/*.parquet
• 视频文件：MP4 格式，存储于 videos/ 目录
• 版本：codebase_version v3.0

可视化

提供在线数据集可视化工具，可通过 Hugging Face Space 直接预览该数据集。

引用信息

当前未提供论文或 BibTeX 引用信息。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架精心构建，专为机器人折叠毛巾任务设计。采集过程中，操控者通过UMI（Universal Manipulation Interface）双夹爪平台执行毛巾折叠操作，同步记录高精度运动状态与视觉信息。数据以30帧/秒的频率采样，涵盖14维状态特征（包括两个UMI末端的三维位置、姿态及夹爪开合度）与12维动作指令，同时配备双视角RGB视频流，分辨率达600×800像素。全部1513个操作轨迹被划分为训练集，共计203万帧，以Parquet格式存储结构化数据，视频则采用H.264编码压缩，确保数据完整性与高效访问。

特点

数据集兼具规模与多样性，其1513次演示覆盖毛巾折叠的多种手法与路径，为模仿学习提供丰富样本。双UMI协同作业模式真实模拟双手操作场景，14维状态与12维动作的精细映射捕捉了操作细节。双视角视觉输入增强了对空间关系的感知，支持视觉-运动联合建模。数据以一致的采样频率和标准化格式组织，便于直接用于训练端到端神经网络模型。Apache 2.0许可保障了开放性与可复现性，使其成为机器人操作研究的重要资源。

使用方法

使用时，研究者可通过LeRobot库轻松加载数据集，其结构化的Parquet文件和视频路径设计支持高效批处理。数据集默认划分为训练集，可直接用于训练基于视觉的运动策略，如模仿学习或强化学习算法。观测空间包含双相机图像与状态向量，动作空间为12维连续控制信号，适合多种模型架构。借助HuggingFace提供的可视化工具，用户可直观预览数据样本，快速验证数据质量。数据集的标准化格式亦便于进行跨数据集对比研究，推动机器人折叠操作任务的算法迭代与评估。

背景与挑战

背景概述

artem-fold-towel数据集由Brandon Yang等人于2023年创建，基于LeRobot框架构建，专注于机器人折叠毛巾这一精细操作任务。该数据集利用双UMI（Universal Manipulation Interface）机械臂，采集了1513个演示轨迹，包含超过200万帧的高频视觉与状态数据，旨在为机器人学习提供高质量的示范数据。其核心研究问题在于如何通过多模态传感信息（双视角视觉、力觉与位姿）实现柔顺的布料操作，这对家务机器人自动化具有重要意义。该数据集在机器人操作领域具有开创性，为后续基于模仿学习或强化学习的毛巾折叠算法提供了标准化的训练与评估基准，推动了具身智能在非结构化环境中的发展。

当前挑战

该数据集所面临的核心挑战源于布料操作的固有复杂性：折叠毛巾涉及非线性动力学、高自由度变形以及接触状态的频繁变化，传统模型难以捕捉其动态特征。此外，数据构建过程中需解决多传感器同步问题，包括双UMI的位姿标定、30Hz视频流与状态数据的时序对齐，以及力控数据的噪声抑制。同时，1513个长时序轨迹（总帧数超200万）的采集与标注成本高昂，且需确保演示动作的多样性与一致性。最终，基于该数据集的算法需泛化至不同毛巾材质、初始构型及环境扰动，这要求模型具备强大的域适应能力，成为当前研究的突出难点。

常用场景

经典使用场景

该数据集聚焦于机器人折叠毛巾的精细操作任务，其核心应用场景为基于视觉与力觉融合的机器人操控学习研究。依托LeRobot框架采集的高频双视角视觉流与同步的关节状态、动作序列，数据集为模仿学习、行为克隆及强化学习等算法提供了标准化的训练与评估基准。研究者可借此构建从高维像素输入到精确动作映射的端到端策略，探索双机械臂协同作业下的空间注意力机制与动态运动规划，验证在非结构化环境中执行变形体操作的泛化能力与鲁棒性。

实际应用

在实际应用中，此数据集为智能家居与工业场景的自动化织物处理系统铺设了数据基石，尤其适用于衣物整理、床铺铺设及医疗敷料制备等需要精细接触操作的任务。基于该数据训练的视觉-运动策略可部署于配备双机械臂的移动平台，通过实时解析摄像机反馈动态调整抓取姿态与折叠轨迹，显著提升非标环境下作业的可靠性与效率。其兼容的接口与轻量化数据格式也便利了机器人企业快速迭代原型、缩短产品落地周期，展现出从实验室场景向量产化柔性生产单元转化的巨大潜力。

衍生相关工作

围绕着这一高保真双机器人操作数据集，衍生出了一系列里程碑式研究，涵盖基于Transformer的视觉-语言-动作模型、能量基最优控制策略以及元学习框架等前沿范式。例如，后续工作借鉴其高帧率视觉特征，开发了面向局部遮挡状态的自适应状态估计器；亦有团队基于其多工位数据设计跨任务迁移正则化项，大幅提升了策略在新织物材质上的零样本表现。这些后续工作或以其为基准测试新算法，或在其基础上扩展标注信息，形成了以LeRobot为中心的、协同创新的学术生态，持续反哺机器人学习领域的算法演进与理论深化。