folding_laundry

该数据集包含机器人动作和观测数据，具体包括左右机械臂各关节的位置、左右夹爪的位置，以及来自顶部、左夹爪和右夹爪三个视角的视频观测。数据集由354个片段组成，共684076帧，涉及13个任务。数据以parquet文件格式存储，视频以mp4格式存储，帧率为30fps。观测视频的分辨率为480x640，包含RGB三通道。

原始信息汇总

数据集概述

基本信息

• 数据集名称： folding_laundry
• 创建工具： LeRobot (https://github.com/huggingface/lerobot)
• 许可协议： Apache 2.0
• 任务类别： 机器人学
• 标签： LeRobot

数据集规模

• 总情节数： 354
• 总帧数： 684,076
• 总任务数： 13
• 数据块大小： 1000
• 数据文件总大小： 100 MB
• 视频文件总大小： 200 MB
• 帧率： 30 FPS
• 数据划分： 训练集 (0:354)

数据结构与特征

数据以Parquet文件格式存储，路径模式为：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet 视频以MP4文件格式存储，路径模式为：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

• action (动作)：

  • 数据类型：float32
  • 形状：[12]
  • 描述：12维机器人关节位置指令，包括左/右机械臂的肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置。

• observation.state (状态观测)：

  • 数据类型：float32
  • 形状：[12]
  • 描述：12维机器人关节位置状态，与action特征具有相同的关节命名。

• observation.images.top (顶部摄像头图像)：

  • 数据类型：video
  • 形状：[480, 640, 3] (高度，宽度，通道)
  • 视频信息：编码AV1，像素格式yuv420p，非深度图，30 FPS，3通道，无音频。

• observation.images.left_gripper (左夹爪摄像头图像)：

  • 数据类型：video
  • 形状：[480, 640, 3] (高度，宽度，通道)
  • 视频信息：编码AV1，像素格式yuv420p，非深度图，30 FPS，3通道，无音频。

• observation.images.right_gripper (右夹爪摄像头图像)：

  • 数据类型：video
  • 形状：[480, 640, 3] (高度，宽度，通道)
  • 视频信息：编码AV1，像素格式yuv420p，非深度图，30 FPS，3通道，无音频。

• timestamp (时间戳)：

  • 数据类型：float32
  • 形状：[1]

• frame_index (帧索引)：

  • 数据类型：int64
  • 形状：[1]

• episode_index (情节索引)：

  • 数据类型：int64
  • 形状：[1]

• index (索引)：

  • 数据类型：int64
  • 形状：[1]

• task_index (任务索引)：

  • 数据类型：int64
  • 形状：[1]

技术细节

• 代码库版本： v3.0
• 机器人类型： bi_so101_follower

引用信息

• 主页： [More Information Needed]
• 论文： [More Information Needed]
• BibTeX引用： [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，folding_laundry数据集通过LeRobot平台精心构建，旨在记录双手机器人执行衣物折叠任务的全过程。该数据集包含354个完整的情节，总计684,076帧数据，以30帧每秒的速率采集，涵盖了13种不同的折叠任务。数据以分块形式存储于Parquet文件中，每个块包含1000帧，同时配有从顶部摄像头及左右夹爪视角拍摄的高清视频，视频编码采用AV1格式，确保了数据的高效存储与访问。

特点

该数据集的核心特点在于其多维度的观测与动作记录，不仅提供了机器人12个关节的位置状态作为观测与动作特征，还整合了三个视角的视觉信息，包括480x640分辨率的RGB图像。这种多模态数据融合为模仿学习与强化学习算法提供了丰富的输入源。数据集结构清晰，通过元数据文件详细定义了每个特征的形状与类型，便于研究者直接解析与应用，所有数据均归属于训练集，支持端到端的机器人技能学习。

使用方法

研究者可利用该数据集训练机器人执行衣物折叠等精细操作任务。通过加载Parquet文件，可以访问每一帧的关节状态、视觉观测及对应的时间戳与情节索引。视频文件与数据文件路径通过元数据中的模式定义，便于同步读取。该数据集适用于开发基于视觉的模仿学习模型，或结合状态信息进行策略优化，其标准化的格式与HuggingFace平台的兼容性使得集成到现有机器学习流程中变得简便高效。

背景与挑战

背景概述

在机器人操作领域，实现灵巧且复杂的家务任务自动化是长期以来的研究目标。folding_laundry数据集应运而生，专注于叠衣服这一具体且富有挑战性的日常活动。该数据集由HuggingFace的LeRobot项目创建，旨在为机器人模仿学习提供高质量的真实世界演示数据。其核心研究问题在于如何让双手机器人通过观察人类演示，学习并泛化叠衣服这一涉及精细操作和布料形变处理的任务。该数据集包含了354个任务片段，总计超过68万帧的多视角视频和机器人关节状态数据，为推进家庭服务机器人的实际应用奠定了重要基础。

当前挑战

该数据集致力于解决机器人模仿学习中叠衣服任务的挑战，其核心在于处理布料的高度非刚性、动态形变特性，以及任务步骤的长期依赖和顺序逻辑。构建过程中的挑战同样显著，包括如何设计稳定可靠的数据采集系统，以同步记录多路高清视频与精确的机器人本体传感器数据；如何确保演示动作的多样性和高质量，以覆盖任务执行中的各种意外情况和物体状态；以及如何处理和存储海量的时序数据，并构建高效的数据管道以供模型训练使用。

常用场景

经典使用场景

在机器人学习领域，folding_laundry数据集为双臂机器人执行复杂操作任务提供了丰富的多模态数据资源。该数据集通过记录机器人折叠衣物的过程，整合了关节位置、视觉图像和时间序列信息，典型应用于模仿学习与强化学习算法的训练与评估。研究者可利用其高维度的动作和观测空间，开发能够处理柔性物体和精细操作的智能控制策略，推动机器人自主执行日常家务任务的进展。

解决学术问题

该数据集主要解决了机器人操作中针对非结构化环境的适应性问题，特别是处理柔性、可变形物体时的感知与控制挑战。通过提供真实的衣物折叠任务数据，它支持研究多模态感知融合、长时程动作规划以及从演示中学习复杂技能等关键学术议题。其意义在于降低了真实世界机器人实验的成本与门槛，为验证算法在动态、不确定场景下的鲁棒性提供了基准，促进了机器人学习从仿真到实际应用的过渡。

衍生相关工作

围绕folding_laundry数据集，已衍生出多项专注于机器人操作学习的经典研究工作。例如，利用其进行行为克隆与逆强化学习，以提取高效的折叠策略；结合视觉-动作对应关系，开发端到端的感知控制模型；以及基于多任务学习框架，探索从折叠技能到其他家务操作的泛化能力。这些工作不仅深化了对机器人学习范式的理解，也为后续构建更大规模、更复杂的家务机器人数据集奠定了方法论基础。