awesome-virtual-try-on

这是一个关于虚拟试穿（VTON）的精选数据集合集，收录了与虚拟试穿研究相关的多个数据集资源，覆盖图像基础（2D）虚拟试穿、3D虚拟试穿、混合匹配虚拟试穿、野外虚拟试穿、多姿态引导虚拟试穿、视频虚拟试穿以及非服装虚拟试穿等领域。合集按主题分类组织，旨在为研究人员和开发者提供全面的数据集索引和参考。This is a curated dataset collection focused on virtual try-on (VTON), which aggregates multiple dataset resources relevant to virtual try-on research. It covers domains including image-based (2D) virtual try-on, 3D virtual try-on, hybrid matching virtual try-on, in-the-wild virtual try-on, multi-pose guided virtual try-on, video virtual try-on, and non-clothing virtual try-on. The collection is organized by thematic categories, aiming to provide comprehensive dataset indexing and references for researchers and developers.

原始信息汇总

数据集概述

该页面是一个虚拟试穿（Virtual Try-on, VTON）研究资源的精选列表，涵盖了从经典方法到最新研究进展的多个方向。页面内容主要分为以下几大类研究主题和配套资源。

研究主题分类

• 基于提示的虚拟试穿（Prompt-based Virtual Try-on）：利用ControlNet和Stable-Diffusion等模型，通过文本或图像提示进行服装编辑。
• 基于图像的虚拟试穿（2D Virtual Try-on）：核心研究领域，包含大量从CVPR、ECCV、NeurIPS等顶级会议发表的工作，例如VITON、CP-VTON、HR-VITON、StableVITON等。时间跨度从2018年至今。
• 3D虚拟试穿（3D Virtual Try-on）：涉及三维人体和服装重建及试穿。
• 混合与搭配虚拟试穿（Mix-and-match Virtual Try-on）：研究上下装等不同服装的组合试穿。
• 野外（真实场景）虚拟试穿（In-the-wild Virtual Try-on）：针对复杂、非受控环境下的试穿任务。
• 多姿态引导虚拟试穿（Multi-Pose Guided Virtual Try-on）：在生成试穿效果时，支持指定或改变人体的姿态。
• 视频虚拟试穿（Video Virtual Try-on）：将试穿扩展到时序视频领域。
• 非服装类虚拟试穿（Non-clothing Virtual Try-on）：适用于其他物品的虚拟试穿。
• 姿态引导的人体合成（Pose-Guided Human Synthesis）：基于姿态信息生成或编辑人体图像。

配套资源

• 公开数据集（Datasets for Virtual Try-on）：列表明确包含对专用数据集的引用，例如Dress Code、DeepFashion系列等。
• 相关会议研讨会（Related Conference Workshops）：聚焦于计算机视觉与时尚/服装领域的学术研讨会。
• 在线演示（Demos）：部分研究项目提供了在线试用链接。
• 相关仓库（Related Repositories）：汇总了与虚拟试穿相关的GitHub代码仓库。

搜集汇总

数据集介绍

构建方式

在虚拟试穿（VTON）这一前沿领域，研究脉络的梳理至关重要。该数据集并非传统意义上的图像或标注集合，而是一个精心策划的学术资源索引。其构建方式基于对顶级会议与期刊（如CVPR、NeurIPS、ECCV等）中发表的VTON相关论文的系统性检索与分类。通过人工审核与主题标注，将海量研究按照技术路线（如基于提示的、基于图像的2D/3D方法）和应用场景（如野外场景、多姿态引导、视频试穿）进行层次化组织，形成了一个结构清晰、动态更新的知识图谱。

使用方法

研究者可直接通过该列表作为文献调研的起点，根据自身需求定位到特定技术分支。例如，若关注基于扩散模型的试穿，可快速从'Prompt-based'或'Image-based (2D)'类别下找到IDM-VTON、CatVTON等工作的代码与论文。对于寻求基准数据集的学者，'Datasets for Virtual Try-on'章节提供了关键资源入口。同时，列表中的'Demos'和'Related Repositories'部分为快速验证算法效果或部署原型系统提供了便捷通道。

背景与挑战

背景概述

虚拟试穿技术作为计算机视觉与图形学交叉领域的前沿方向，致力于在数字空间中实现服装与人体图像的逼真融合，从而重塑电子商务与时尚产业的交互范式。该数据集由多个研究机构与学者共同构建，其核心研究问题聚焦于如何跨越二维图像与三维表征的鸿沟，实现高保真、多类别、跨姿态的服装迁移与试穿效果。自VITON等开创性工作以来，该领域已涌现出大量基于扩散模型、生成对抗网络及流形学习的创新方法，推动了从单件上衣到多件套、从静态图像到动态视频的全面进化。这一数据集的系统整理，不仅为后续研究提供了清晰的脉络图谱，更在学术与工业界催生了诸如TryOnDiffusion、StableVITON等里程碑式成果，深刻影响了时尚智能合成与个性化推荐技术的发展轨迹。

当前挑战

当前虚拟试穿研究面临的核心挑战体现在多个层面。在领域问题层面，如何精准处理复杂形变与遮挡关系仍是瓶颈，尤其是当服装纹理、人体姿态与背景环境存在剧烈变化时，现有模型常出现纹理失真、边缘模糊或语义不一致的伪影。此外，多类别服装（如下装、外套）的协同试穿、跨视角一致性保持以及真实场景下的光照与尺度泛化能力，均亟待突破。在数据集构建过程中，挑战同样严峻：首先，高质量配对数据的采集成本高昂，需同时获取同一人物穿着不同服装的精确对齐图像，这在自然场景中几乎无法实现；其次，现有公开数据集如VITON-HD、Dress Code等虽规模可观，但普遍存在类别不平衡、姿态单一或分辨率受限等问题，难以支撑极端姿态与复杂场景的训练需求。这些障碍共同制约着虚拟试穿技术从实验室走向大规模商业应用的进程。

常用场景

经典使用场景

在计算机视觉与图形学领域，虚拟试穿（Virtual Try-On）技术旨在将目标服装自然地贴合到人物图像上，并保留服装的纹理细节与人体姿态的完整性。该数据集汇集了从经典VITON、CP-VTON到前沿的StableVITON、TryOnDiffusion等大量研究工作，为研究者提供了统一的基准平台。最经典的使用场景是基于图像的二维虚拟试穿，即给定一张人物照片与一件服装图像，模型需生成该人物穿着该服装的逼真效果图。这一任务要求算法精准处理服装形变、人体遮挡、纹理保持等核心挑战，是评估生成模型性能的试金石。

解决学术问题

该数据集系统性地梳理了虚拟试穿领域的关键学术问题，包括服装与人体之间的几何对齐、纹理迁移保真度、复杂姿态下的形变控制，以及多类别服装（如上衣、裤子、连衣裙）的统一处理。通过整理VITON-HD、HR-VITON等工作，研究者得以聚焦于高分辨率图像下的细节保留问题；而PF-AFN、DCTON等则探索了无解析图条件下的端到端学习范式。这些工作共同推动了生成式模型在服装-人体交互建模中的理论突破，为后续的扩散模型应用奠定了坚实基础，显著提升了虚拟试穿的逼真度与鲁棒性。

实际应用

在实际产业应用中，虚拟试穿技术已广泛渗透于电商平台、移动端购物与个性化推荐系统。例如，用户可在线上传自身照片，即时预览不同款式服装的上身效果，从而降低退货率并提升购物体验。该数据集所收录的Mobile-VTON、OOTDiffusion等工作，正是面向移动端实时推理与轻量化部署的典型代表。此外，Street TryOn等研究将场景拓展至户外自然光照与复杂背景，使虚拟试穿更具普适性。这些应用不仅革新了时尚零售的交互模式，也为元宇宙中的数字分身穿搭提供了核心技术支撑。

数据集最近研究

最新研究方向

虚拟试穿技术正以前所未有的速度演进，其研究前沿已从传统的二维图像合成迈向多模态、高保真与全场景覆盖的新纪元。当前，基于扩散模型的生成式方法，如StableVITON和TryOnDiffusion，通过语义对齐与潜空间映射，显著提升了衣物纹理的保真度与人体姿态的鲁棒性，代表了该领域在图像质量上的重大飞跃。与此同时，研究热点正聚焦于解决现实世界中的复杂挑战，包括多视角生成（MV-VTON）、多服装组合搭配（M&M VTO），以及应对野外环境中的遮挡与形变问题（OccFree-VTON）。这些突破不仅推动了电商与时尚产业的个性化体验革新，更催生了如Garments2Look等大规模多参考数据集，为算法在细粒度配件与全身搭配上的泛化能力提供了关键支撑，其深远意义在于将虚拟试穿从实验室的演示场景真正转化为可落地的消费级应用。