rdm-napkin-folding

该数据集是一个机器人学领域的数据集，包含了27个剧集，共计345647帧，专注于一个任务。数据集以Parquet文件格式存储，每个文件包含1000帧数据。数据集包含多种特征，如左右手腕图像、状态、动作、基础图像、时间戳等。数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot, rdm

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: xarm_bimanual
• 总剧集数: 27
• 总帧数: 345647
• 总任务数: 1
• 总视频数: 0
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 60
• 数据分割:
  • 训练集: 0:6
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• right_wrist_image:
  • 数据类型: image
  • 形状: [224, 224, 3]
  • 名称: height, width, channel
• state:
  • 数据类型: float32
  • 形状: [14]
  • 名称: state
• actions:
  • 数据类型: float32
  • 形状: [14]
  • 名称: actions
• left_wrist_image:
  • 数据类型: image
  • 形状: [224, 224, 3]
  • 名称: height, width, channel
• base_image:
  • 数据类型: image
  • 形状: [224, 224, 3]
  • 名称: height, width, channel
• timestamp:
  • 数据类型: float32
  • 形状: [1]
  • 名称: null
• frame_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• episode_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• task_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，rdm-napkin-folding数据集的构建采用了先进的LeRobot框架，通过xarm_bimanual双机械臂系统采集了27个完整操作序列。数据以60Hz的高采样频率记录了34万余帧操作数据，采用分块存储策略将原始数据组织为1000帧大小的数据块，并以标准化Parquet格式保存。每个数据块包含多模态传感器数据，涵盖了机械臂状态、动作指令以及三路视觉传感器的同步图像信息。

特点

该数据集最显著的特点是实现了操作任务的多模态数据同步采集，包含左右腕部摄像头和基座摄像头的224x224分辨率RGB图像，以及14维度的机械臂状态和动作向量。数据结构设计科学合理，通过时间戳、帧索引和任务索引实现了精确的数据对齐，为研究机器人操作中的感知-动作闭环控制提供了丰富的信息维度。高精度的时序数据为分析机器人操作的动态特性创造了条件。

使用方法

研究者可通过加载Parquet格式的数据文件直接访问多模态操作数据，建议按照标准训练集划分方案使用前6个操作序列进行模型训练。数据集中包含的图像数据适合用于计算机视觉任务，而连续的状态-动作对则可用于强化学习算法的训练。利用内置的时间戳信息，可以实现操作过程的时序分析和动态建模，为机器人折叠操作任务的研究提供基准数据支持。

背景与挑战

背景概述

rdm-napkin-folding数据集由LeRobot团队构建，专注于机器人操作任务中的餐巾折叠技术。该数据集通过xarm_bimanual双机械臂系统采集，包含27个完整操作序列，总计345647帧数据，采样频率为60Hz。作为机器人学习领域的新型基准数据，其核心价值在于提供了多视角视觉观测（包括腕部及基座摄像头）与14维状态动作空间的同步映射，为研究复杂操作任务中的感知-动作协同机制奠定了数据基础。数据采用Apache-2.0开源协议，体现了可扩展性与社区共享理念。

当前挑战

该数据集面临双重技术挑战：在领域问题层面，餐巾折叠涉及非刚性物体形变建模与高精度操作规划，现有方法在长时序动作泛化与多模态感知融合上存在显著瓶颈；在构建过程中，双机械臂系统的时空标定精度、60Hz高频数据的同步采集，以及跨视角图像数据的对齐均构成工程难点。数据规模限制（仅27个episodes）进一步制约了深度强化学习算法的训练效果，亟需开发高效的小样本学习方法。

常用场景

经典使用场景

在机器人操作学习领域，rdm-napkin-folding数据集通过记录双机械臂折叠餐巾纸的全过程，为研究多模态感知与动作协同提供了标准化的实验平台。该数据集整合了视觉信息（包括腕部及基座摄像头图像）与14维状态动作向量，使得研究者能够深入分析高维传感器数据与精细动作规划的映射关系。

解决学术问题

该数据集有效解决了机器人操作任务中视觉-动作联合建模的难题，其包含的34万帧高精度时序数据填补了精细物体操作研究的数据空白。通过提供双机械臂的同步控制信号与多视角视觉反馈，为理解非刚性物体形变过程中的动力学特性与操作策略优化提供了关键实验依据。

衍生相关工作

基于该数据集的多模态特性，已有研究衍生出基于时空注意力机制的操作策略生成框架。在LeRobot生态系统中，研究者进一步开发了分层强化学习架构，将原始传感器数据分解为语义子任务，推动了机器人操作知识迁移学习领域的发展。