robotflow/vr-folding

---
license: mit
pretty_name: garment-tracking
---

# Dataset Card for VR-Folding Dataset

## Table of Contents
- [Table of Contents](#table-of-contents)
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Dataset Structure](#dataset-structure)
- [Dataset Example](#dataset-example)
## Dataset Description

- **Homepage:** https://garment-tracking.robotflow.ai
- **Repository:** [GitHub](https://github.com/xiaoxiaoxh/GarmentTracking)
- **Paper:** [GarmentTracking: Category-Level Garment Pose Tracking](https://arxiv.org/pdf/2303.13913.pdf)
- **Point of Contact:**

## Dataset Summary
This is the **VR-Folding** dataset created by the CVPR 2023 paper [GarmentTracking: Category-Level Garment Pose Tracking](https://garment-tracking.robotflow.ai).
This dataset is recorded with a system called [VR-Garment](https://github.com/xiaoxiaoxh/VR-Garment), which is a garment-hand interaction environment based on Unity.

To download the dataset, use the following shell snippet:
```
git lfs install
git clone https://huggingface.co/datasets/robotflow/garment-tracking
# if you want to clone without large files – just their pointers
# prepend your git clone with the following env var: GIT_LFS_SKIP_SMUDGE=1

# merge multiple .zip files (e.g. folding) into one .zip file
cd data/folding
cat folding_dataset.z* > folding_dataset.zip
# unzip
unzip folding_dataset.zip
```
All the data are stored in [zarr](https://zarr.readthedocs.io/en/stable/) format.

## Dataset Structure
Here is the detailed stucture of a data example ([zarr](https://zarr.readthedocs.io/en/stable/) format) of one frame:
```
00068_Tshirt_000000_000000
├── grip_vertex_id
│ ├── left_grip_vertex_id (1,) int32
│ └── right_grip_vertex_id (1,) int32
├── hand_pose
│ ├── left_hand_euler (25, 3) float32
│ ├── left_hand_pos (25, 3) float32
│ ├── right_hand_euler (25, 3) float32
│ └── right_hand_pos (25, 3) float32
├── marching_cube_mesh
│ ├── is_vertex_on_surface (6410,) bool
│ ├── marching_cube_faces (12816, 3) int32
│ └── marching_cube_verts (6410, 3) float32
├── mesh
│ ├── cloth_faces_tri (8312, 3) int32
│ ├── cloth_nocs_verts (4434, 3) float32
│ └── cloth_verts (4434, 3) float32
└── point_cloud
├── cls (30000,) uint8
├── nocs (30000, 3) float16
├── point (30000, 3) float16
├── rgb (30000, 3) uint8
└── sizes (4,) int64
```
Specifically, we render 4-view RGB-D images with Unity and generate concated point clouds for each frame. Here `grip_vertex_id` is the vertex index list of the grasped points of the mesh.

# Dataset Example
Please see [example](data/data_examples/README.md) for example data and visualization scripts.
Here are two video examples for flattening and folding task.

---
license: MIT协议
pretty_name: garment-tracking
---
# VR折叠数据集（VR-Folding Dataset）数据集卡片

## 目录
- [目录](#目录)
- [数据集描述](#数据集描述)
- [数据集摘要](#数据集摘要)
- [数据集结构](#数据集结构)
- [数据集示例](#数据集示例)

## 数据集描述

- **主页：** https://garment-tracking.robotflow.ai
- **代码仓库：** [GitHub](https://github.com/xiaoxiaoxh/GarmentTracking)
- **相关论文：** [GarmentTracking：类别级衣物姿态跟踪](https://arxiv.org/pdf/2303.13913.pdf)
- **联系人：**

## 数据集摘要

本数据集为CVPR 2023论文《GarmentTracking：类别级衣物姿态跟踪》所构建的**VR折叠数据集（VR-Folding Dataset）**。本数据集通过名为[VR-Garment](https://github.com/xiaoxiaoxh/VR-Garment)的系统录制采集，该系统是一款基于Unity引擎的衣物-手部交互环境。

若需下载该数据集，请使用如下Shell命令片段：

git lfs install
git clone https://huggingface.co/datasets/robotflow/garment-tracking
# 若仅需克隆大文件的指针而非完整文件
# 在git clone命令前添加如下环境变量：GIT_LFS_SKIP_SMUDGE=1

# 将多个.zip分卷文件（例如folding系列）合并为单个.zip文件
cd data/folding
cat folding_dataset.z* > folding_dataset.zip
# 解压
unzip folding_dataset.zip

所有数据均以[zarr](https://zarr.readthedocs.io/en/stable/)格式存储。

## 数据集结构

以下为单帧数据示例（[zarr](https://zarr.readthedocs.io/en/stable/)格式）的详细结构：

00068_Tshirt_000000_000000
├── grip_vertex_id（抓取顶点ID）
│ ├── left_grip_vertex_id (1,) int32
│ └── right_grip_vertex_id (1,) int32
├── hand_pose（手部姿态）
│ ├── left_hand_euler (25, 3) float32
│ ├── left_hand_pos (25, 3) float32
│ ├── right_hand_euler (25, 3) float32
│ └── right_hand_pos (25, 3) float32
├── marching_cube_mesh（移动立方体网格）
│ ├── is_vertex_on_surface (6410,) bool
│ ├── marching_cube_faces (12816, 3) int32
│ └── marching_cube_verts (6410, 3) float32
├── mesh（网格）
│ ├── cloth_faces_tri (8312, 3) int32
│ ├── cloth_nocs_verts (4434, 3) float32（布料归一化物体坐标空间顶点）
│ └── cloth_verts (4434, 3) float32
└── point_cloud（点云）
├── cls (30000,) uint8（类别标签）
├── nocs (30000, 3) float16（归一化物体坐标空间）
├── point (30000, 3) float16
├── rgb (30000, 3) uint8
└── sizes (4,) int64

具体而言，我们通过Unity引擎渲染4视角RGB-D图像，并为每一帧生成拼接后的点云。此处的`grip_vertex_id`（抓取顶点ID）为网格抓取点的顶点索引列表。

## 数据集示例

示例数据与可视化脚本请参见[example](data/data_examples/README.md)。以下为衣物展平与折叠任务的两段视频示例：

原始信息汇总

VR-Folding Dataset Summary

Dataset Description

• Homepage: https://garment-tracking.robotflow.ai
• Repository: GitHub
• Paper: GarmentTracking: Category-Level Garment Pose Tracking
• Point of Contact: Not specified

Dataset Summary

• Name: VR-Folding
• Source: Created by the CVPR 2023 paper GarmentTracking: Category-Level Garment Pose Tracking
• Recording System: VR-Garment, a garment-hand interaction environment based on Unity
• Data Format: zarr

Dataset Structure

• Data Example Structure:

  00068_Tshirt_000000_000000 ├── grip_vertex_id │ ├── left_grip_vertex_id (1,) int32 │ └── right_grip_vertex_id (1,) int32 ├── hand_pose │ ├── left_hand_euler (25, 3) float32 │ ├── left_hand_pos (25, 3) float32 │ ├── right_hand_euler (25, 3) float32 │ └── right_hand_pos (25, 3) float32 ├── marching_cube_mesh │ ├── is_vertex_on_surface (6410,) bool │ ├── marching_cube_faces (12816, 3) int32 │ └── marching_cube_verts (6410, 3) float32 ├── mesh │ ├── cloth_faces_tri (8312, 3) int32 │ ├── cloth_nocs_verts (4434, 3) float32 │ └── cloth_verts (4434, 3) float32 └── point_cloud ├── cls (30000,) uint8 ├── nocs (30000, 3) float16 ├── point (30000, 3) float16 ├── rgb (30000, 3) uint8 └── sizes (4,) int64

• Rendering: 4-view RGB-D images with Unity, generating concated point clouds for each frame

Dataset Example

• Example Data and Visualization: See example
• Video Examples:
  • Flattening task
  • Folding task

搜集汇总

数据集介绍

构建方式

在服装姿态追踪研究领域，VR-Folding数据集通过VR-Garment系统构建，该系统基于Unity引擎搭建了一个虚拟的服装-手部交互环境。数据采集过程中，系统记录了多视角的RGB-D图像序列，并利用Marching Cube算法生成服装的三维网格表示。每一帧数据均包含手部姿态、抓取顶点标识以及服装的网格与点云信息，这些数据以zarr格式高效存储，确保了大规模序列数据的可管理性与访问速度。

特点

该数据集的核心特点在于其提供了类别级别的服装姿态追踪数据，涵盖了服装在折叠与铺平任务中的动态变化。数据集不仅包含高精度的三维网格与点云，还整合了手部关节的欧拉角与位置信息，以及抓取顶点的标识，从而支持对服装-手部交互的细粒度分析。此外，多视角渲染的RGB-D图像进一步丰富了数据的视觉维度，为计算机视觉与机器人学的研究提供了多模态基础。

使用方法

使用VR-Folding数据集时，研究者可通过提供的脚本解压并合并分卷的zip文件，随后利用zarr库加载数据。数据集的结构化设计允许用户便捷地访问手部姿态、服装网格及点云等关键信息。示例代码与可视化脚本有助于快速理解数据格式，并支持基于PyTorch或TensorFlow等框架构建模型，以进行服装姿态估计、动作生成或交互仿真等任务。

背景与挑战

背景概述

在计算机视觉与机器人操作领域，衣物姿态的感知与追踪一直是极具挑战性的研究课题。VR-Folding数据集由CVPR 2023论文《GarmentTracking: Category-Level Garment Pose Tracking》的研究团队创建，其核心研究问题聚焦于类别级别的衣物姿态跟踪。该数据集通过基于Unity开发的VR-Garment系统采集，记录了虚拟环境中人手与多种衣物交互的详细数据，包括点云、网格、手部姿态等多模态信息。这一数据集的推出，为衣物操作、机器人抓取与折叠等任务提供了高质量的基准数据，显著推动了具身智能与交互式物理仿真领域的发展。

当前挑战

VR-Folding数据集旨在解决衣物姿态跟踪这一复杂问题，其挑战首先体现在衣物本身的高度非刚性、动态形变以及类别内形状多样性，使得精准建模与跟踪极为困难。其次，在数据构建过程中，研究团队需设计高效的虚拟交互环境，确保采集的数据涵盖丰富的物理交互状态，同时保持多视角RGB-D图像、点云与网格数据之间的一致性。此外，如何从大规模序列数据中提取具有判别性的姿态特征，并实现跨类别泛化，也是该数据集应用中的关键难点。

常用场景

经典使用场景

在计算机视觉与机器人操作领域，VR-Folding数据集以其精细的服装-手部交互序列，为类别级服装姿态跟踪研究提供了关键支撑。该数据集通过Unity环境模拟真实折叠动作，捕捉多视角RGB-D图像与点云数据，经典应用场景集中于开发与评估服装形变预测、抓取点识别及动态姿态估计算法，尤其在模拟环境中训练机器人执行复杂布料操作任务时，成为不可或缺的基准测试资源。

衍生相关工作

围绕VR-Folding数据集，已衍生出一系列经典研究工作，例如原论文《GarmentTracking: Category-Level Garment Pose Tracking》提出了基于该数据的跟踪框架，后续研究则进一步探索了结合强化学习的服装操控策略、跨类别形变泛化模型，以及多模态融合的感知方法。这些工作共同构建了服装交互分析的技术脉络，持续拓展其在柔性物体机器人学中的应用边界。

数据集最近研究

最新研究方向

在机器人操作与计算机视觉交叉领域，VR-Folding数据集以其基于VR-Garment系统采集的服装交互数据，正推动类别级服装姿态追踪的前沿探索。该数据集通过多视角RGB-D图像与点云融合，为模拟服装折叠、平整等复杂形变任务提供了高保真基准，促进了具身智能在柔性物体操控中的算法创新。当前研究热点集中于利用该数据集训练端到端模型，以提升机器人对服装状态感知与动作规划的泛化能力，相关成果已在CVPR等顶级会议引发广泛关注，对家庭服务机器人及虚拟试衣等应用场景具有深远影响。