fold_pink_cloth_in_half

该数据集是基于 LeRobot 框架创建的机器人操作数据集，用于训练机器人折叠粉色布的任务。数据集包含 50 个演示片段，共 11330 帧，帧率为 15 FPS。机器人类型为 mantis_follower（与 UR5 相关）。数据特征包括：7 维动作向量（对应机械臂关节位置和夹爪位置）、7 维观察状态向量（与动作维度相同）、左右两个 RGB 摄像头图像（720×1280 像素，编码为 AV1 视频）、左右两个深度摄像头图像（720×1280 像素，单通道，编码为 HEVC 无损视频），以及时间戳、帧索引、片段索引、任务索引等元数据。所有数据存储为 Parquet 格式，视频文件为 MP4 格式。该数据集适用于模仿学习、机器人操作策略训练等任务，尤其适用于基于视觉反馈的机械臂操控场景。许可证为 Apache-2.0。This dataset is a robot manipulation dataset created based on the LeRobot framework, designed for training robots to fold a pink cloth. It contains 50 demonstration episodes with a total of 11,330 frames at 15 FPS. The robot type is mantis_follower (related to UR5). Data features include: 7-dimensional action vector (corresponding to joint positions and gripper positions), 7-dimensional observation state vector (same dimension as actions), left and right RGB camera images (720×1280 pixels, encoded as AV1 video), left and right depth camera images (720×1280 pixels, single channel, encoded as HEVC lossless video), and metadata such as timestamps, frame indices, episode indices, and task indices. All data is stored in Parquet format, with video files in MP4 format. This dataset is suitable for tasks such as imitation learning and robot manipulation policy training, especially for visual feedback-based robotic arm control scenarios. The license is Apache-2.0.

原始信息汇总

数据集概述

fold_pink_cloth_in_half 是一个用于机器人操作任务的数据集，专注于将粉色布料对折的操作。该数据集通过 LeRobot 框架创建，适用于机器人的模仿学习或操作策略训练。

• 任务类型: 机器人操作 (Robotics)
• 许可证: Apache-2.0
• 数据集创建工具: LeRobot
• 机器人类型: UR5 (配备 Mantis 夹爪)，遥操作采集

数据集结构

• 总回合数 (Episodes): 50
• 总帧数 (Frames): 11,330
• 任务数量 (Tasks): 1 (折叠粉色布料)
• 数据格式: Parquet 文件，包含动作和状态数据；视频文件存储图像观测
• 采样频率 (FPS): 15 Hz
• 数据分割: 仅训练集 (50个回合全部用于训练)

数据特征

数据集中包含以下特征类别：

动作与状态 (Action & State)

• action: 7维浮点数组，包含6个关节位置和1个夹爪位置（left_shoulder_pan_joint.pos, left_shoulder_lift_joint.pos, left_elbow_joint.pos, left_wrist_1_joint.pos, left_wrist_2_joint.pos, left_wrist_3_joint.pos, gripper.pos）
• observation.state: 7维浮点数组，与动作特征相同，代表机器人当前状态

图像观测 (Image Observations)

• observation.images.left: 左侧摄像头RGB视频，分辨率 720x1280，3通道，AV1编码，15 FPS
• observation.images.right: 右侧摄像头RGB视频，分辨率 720x1280，3通道，AV1编码，15 FPS
• observation.images.left_depth: 左侧深度图视频，分辨率 720x1280，单通道，HEVC无损编码，单位为毫米 (mm)
• observation.images.right_depth: 右侧深度图视频，分辨率 720x1280，单通道，HEVC无损编码，单位为毫米 (mm)

元数据

• timestamp: 浮点时间戳
• frame_index: 帧索引 (整数)
• episode_index: 回合索引 (整数)
• index: 全局索引 (整数)
• task_index: 任务索引 (整数)

数据存储

• 数据文件大小: 约 100 MB (Parquet 文件)
• 视频文件大小: 约 200 MB (MP4 文件)
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

其他信息

• 数据集可视化: 可通过 LeRobot 可视化工具在 Hugging Face Spaces 上查看：https://huggingface.co/spaces/lerobot/visualize_dataset?path=khoviadin/fold_pink_cloth_in_half
• 引用信息: 当前数据集描述中未提供 BibTeX 引用信息。

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架，针对UR5机械臂操作任务精心构建。通过遥操作方式采集了50个回合的折叠粉色布料的演示数据，共11330帧，涵盖单一操作任务。数据以parquet格式存储，并配有高分辨率视频记录，同步捕捉左右两路RGB图像及深度信息。每个数据条目均包含7维动作向量及对应的观测状态，详尽记录了机械臂各关节的位置与夹爪状态，为模仿学习提供了完整的输入-输出映射。

使用方法

使用者可利用LeRobot库或标准数据工具加载数据。数据集已提供训练/验证划分（如train:0:50），可直接用于监督学习或强化学习训练。典型应用为训练视觉运动策略，输入观测图像与状态，预测动作序列。数据中的视频与深度信息支持开发鲁棒的感知模型。建议研究者首先探索数据可视化界面，理解任务动态，继而设计模型架构，利用其多模态特性提升操作精度。

背景与挑战

背景概述

该数据集由khoviadin于近期创建，基于Hugging Face的LeRobot框架，用于机器人操作学习研究，核心任务为将粉色布料对折（fold_pink_cloth_in_half）。研究团队采用UR5机械臂（型号为mantis_follower）进行遥操作数据采集，围绕柔性物体操作这一前沿难题展开。数据包含左右RGB图像与深度图像，以及7维关节角度与夹爪状态，提供50个示范回合、11330帧的高质量轨迹数据，并以Apache 2.0许可开放。该数据集为模仿学习和强化学习提供了宝贵的基准，旨在推动非刚性物体操作领域的算法发展，对家庭服务机器人、工业自动化等场景具有潜在影响力。

当前挑战

该数据集主要面临双重挑战：其一，领域问题层面，柔性布料具有高自由度、非刚性形变和自遮挡特性，使得其状态难以精确建模，传统控制方法难以应对，需要借助视觉感知与数据驱动方法，该数据集通过多视角RGB-D输入和动作轨迹记录，为解决此问题提供数据基础；其二，构建过程中，需保证遥操作的精确性与一致性，50个回合的任务执行需克服布料初始状态随机性、抓取点漂移及折叠动作的连续性，同时多传感器数据同步（15fps视频流与状态信息）和标注质量也构成挑战，需精细处理以确保数据可用性。

常用场景

经典使用场景

该数据集聚焦于机器人操作领域的经典任务——将粉色布料对折，通过UR5机械臂的遥操作采集而成。其经典应用在于训练和评估基于视觉的模仿学习模型，特别是用于学习精细操作技能，如布料折叠这类具有柔性和形变特性的物体操作。数据包含双视角RGB图像和深度图像，以及7维关节状态和动作指令，为端到端的机器人视觉运动策略提供了丰富的多模态训练数据。

解决学术问题

该数据集解决了机器人学习领域中关于非刚性物体操作的学术研究难题，尤其是布料折叠这类需要感知变形和精确控制的任务。传统控制方法难以建模布料的物理动力学，而该数据集提供了50个演示片段，包含超过1.1万帧的视频和状态动作数据，支持研究者开发数据驱动的学习方法，如模仿学习和强化学习，从而推动机器人对柔性物体操作的理解和泛化能力，弥补了该领域高质量数据集的稀缺性。

实际应用

在实际应用中，此数据集的价值在于赋能服务与工业机器人完成家庭或商业环境中的布草整理、衣物折叠等日常任务。通过在此类演示数据上训练的模型，机器人可以学习如何像人类一样处理非刚性材料，进而应用于自动化洗衣服务、酒店布草管理以及智能家居助手，提升生活便利性和产业效率。此外，其多模态感知数据也为远程操作与半自主机器人系统的开发提供了基础。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细操作领域的衣物折叠任务，通过UR5机械臂遥操作采集真实数据，为模仿学习提供高质量示范。当前研究前沿集中于利用此类多模态数据（RGB图像、深度图及关节状态）训练视觉-运动控制模型，实现从感知到动作的端到端映射。结合LeRobot框架，研究者正探索跨任务泛化、数据增强策略及基于Transformer的策略架构，旨在提升机器人在非结构化环境下的灵巧操作能力。此外，该数据集的发布推动了具身智能中数据共享与标准化进程，为构建大规模、多任务机器人学习基准提供了支撑，对家庭服务及工业自动化中的柔性物件处理具有重要影响。