FoldNet

FoldNet是一个用于机器人服装折叠的合成数据集。该数据集通过基于关键点的资产和演示合成，生成了具有真实纹理模式的服装模板。利用这些关键点注释，我们在模拟中生成折叠演示，并通过闭环模仿学习训练折叠策略。为了提高鲁棒性，我们提出了KG-DAgger，它使用基于关键点的策略来生成演示数据，以恢复失败。经过15K轨迹（约200万图像-动作对）的训练，模型在现实世界中的成功率达到了75%。在模拟和现实世界环境中的实验验证了我们所提出的框架的有效性。

FoldNet is a synthetic dataset for robotic garment folding. This dataset is generated via keypoint-based assets and demonstrations, producing garment templates with realistic texture patterns. Leveraging these keypoint annotations, we generate folding demonstrations in simulation and train folding policies through closed-loop imitation learning. To enhance robustness, we propose KG-DAgger, which utilizes keypoint-based policies to generate demonstration data for recovering from failed folding attempts. After training on 15K trajectories (approximately 2 million image-action pairs), the model achieves a 75% success rate in real-world scenarios. Experiments conducted in both simulation and real-world environments validate the effectiveness of our proposed framework.

搜集汇总

数据集介绍

构建方式

FoldNet数据集的构建采用了基于关键点的几何模板生成方法，通过随机化关键点位置生成多样化的服装几何形状，并利用生成模型合成逼真的纹理图案。该数据集包含15K条轨迹（约200万图像-动作对），通过闭环模仿学习训练折叠策略。为提高鲁棒性，提出了KG-DAgger方法，利用关键点策略生成错误恢复的演示数据，显著提升了模型在真实环境中的成功率。

特点

FoldNet数据集的特点在于其高度多样化的合成服装网格和详细的注释信息。通过关键点驱动的资产合成方法，数据集能够生成具有丰富几何和纹理变化的服装实例。此外，数据集还包含了错误恢复的演示数据，使得训练出的策略能够处理折叠过程中的失败情况。实验表明，使用该数据集训练的模型在真实环境中的折叠成功率达到了75%。

使用方法

FoldNet数据集的使用方法主要包括三个步骤：首先，利用关键点策略生成初始演示数据集；其次，通过扩散策略训练视觉-动作模型；最后，采用KG-DAgger方法进行模型推理和错误恢复数据生成。数据集支持多种折叠任务，用户可以根据需要调整折叠模式和数据规模。训练后的模型可直接迁移到真实机器人上，适用于未见过的服装实例。

背景与挑战

背景概述

FoldNet数据集由北京大学计算机学院CFCS实验室的Yuxing Chen、Bowen Xiao和He Wang等人于2025年提出，旨在解决机器人布料折叠任务中的数据稀缺问题。该数据集通过关键点驱动的合成方法，构建了包含几何模板与生成纹理的多样化服装资产，并利用闭环模仿学习框架生成15,000条示范轨迹。其创新性体现在将关键点标注与KG-DAgger错误恢复机制相结合，使策略模型在现实世界的折叠成功率提升至75%，显著推动了可变形物体操控领域从仿真到现实的迁移研究。

当前挑战

FoldNet面临的挑战主要体现在两方面：在领域问题层面，服装的高自由度形变特性导致长时程折叠任务中误差累积，需解决状态分布偏移与故障恢复的鲁棒性难题；在构建过程中，合成数据的真实性与多样性存在矛盾，需平衡物理仿真精度与纹理生成质量，同时关键点标注的自动化与多视角一致性也对数据生成效率提出较高要求。此外，现有方法对复杂折叠模式的支持仍受限于布料模拟的物理真实性，亟需更精细的仿真引擎突破。

常用场景

经典使用场景

FoldNet数据集在机器人衣物折叠任务中展现了其经典应用场景。通过合成大量带有关键点标注的衣物网格数据，该数据集为闭环模仿学习提供了丰富的训练样本。研究者在仿真环境中利用这些数据训练视觉动作模型，并通过关键点驱动的错误恢复策略提升策略的鲁棒性。这种数据驱动的学习范式显著降低了真实世界中机器人执行衣物折叠任务的失败率，为长期视界的可变形物体操控提供了可靠解决方案。

解决学术问题

该数据集有效解决了可变形物体操控领域的两大核心学术问题：高质量合成数据的稀缺性以及错误恢复机制的缺乏。通过基于模板的几何生成和生成式纹理合成技术，FoldNet实现了衣物资产的规模化生产；而提出的KG-DAgger算法则通过关键点监测机制，在策略训练中引入错误恢复轨迹，使模型在真实环境中的成功率提升了25%。这些创新为仿真到现实迁移中的分布偏移问题提供了新的研究思路。

衍生相关工作

该数据集衍生出多个经典研究方向：基于关键点的衣物状态表征方法被扩展至衣物展开、悬挂等任务；KG-DAgger算法启发了后续研究者将关键点监测应用于其他长视界操控任务；纹理生成框架则为虚拟试衣系统提供了技术基础。相关工作如Cloth3D和aRTF等数据集相继采用类似的关键点标注范式，推动了可变形物体数字孪生技术的发展。