five

HRVVT|视频试穿数据集|虚拟现实数据集

收藏
arXiv2025-04-24 更新2025-04-26 收录
视频试穿
虚拟现实
下载链接:
https://2y7c3.github.io/3DV-TON/
下载链接
链接失效反馈
资源简介:
HRVVT是一个高分辨率基准数据集,包含130个视频,涵盖了多种服装类型和场景。该数据集旨在推动视频试穿研究的发展,为研究者提供了一个高质量的测试平台。数据集的视频内容丰富多样,有助于评估视频试穿方法在不同复杂场景下的表现。数据集的创建过程涉及到对3D人体模型的重建和动画化,以及与原始视频姿态的同步。通过引入HRVVT数据集,研究者可以更好地评估和改进视频试穿方法,提高其生成的高保真和时序一致性的试穿视频效果。
提供机构:
阿里巴巴集团 DAMO Academy, 湖畔实验室, 浙江大学
创建时间:
2025-04-24
AI搜集汇总
数据集介绍
main_image_url
构建方式
HRVVT数据集作为视频虚拟试穿领域的高分辨率基准数据集,其构建过程体现了严谨的学术规范与技术革新。研究团队从电商平台采集了130段720p分辨率的视频序列,涵盖上衣(50段)、下装(40段)和连衣裙(40段)三大品类,通过专业标注流程确保数据多样性覆盖不同服装材质、复杂纹理和动态人体姿态。数据集构建采用三阶段质量控制:首先基于姿态估计筛选关键帧,继而通过扩散模型生成初始试穿图像,最终利用ECON算法完成可动画的纹理3D网格重建,整个过程平均耗时30秒/样本以保证重建精度与效率的平衡。
特点
该数据集的核心优势在于其多维度真实性表征:空间维度上提供768×576高分辨率帧序列,时间维度确保平均32帧/视频的连贯动作捕捉,模态维度则同步包含原始视频、服装图像、3D人体网格及纹理贴图。特别值得注意的是,数据集通过SMPL-X参数化人体模型与深度感知的双向法线积分技术,实现了服装纹理在动态姿态下的物理准确变形,解决了传统试穿数据中纹理扭曲和运动伪影的痛点。数据分布上精心设计了20%的遮挡场景和15%的多视角序列,为评估算法在真实复杂场景中的鲁棒性提供充分测试条件。
使用方法
使用该数据集时建议采用分层评估策略:基础层可通过SSIM和LPIPS指标衡量单帧视觉质量,进阶层应采用VFID3D和VFIDRexNeXt指标评估时序一致性。研究者在3DV-TON框架中展示了标准流程:首先利用HPS回归器估计视频中的SMPL序列,继而通过纹理3D引导管道生成每帧的外观条件,最后在扩散模型中融合服装图像特征与时序注意力机制。对于创新性研究,数据集提供的3D网格动画序列可直接作为强引导信号,而矩形掩码策略则能有效防止服装信息泄漏,该设计尤其适合探索遮挡场景下的试穿算法改进。
背景与挑战
背景概述
HRVVT(High-Resolution Video Virtual Try-on)数据集由阿里巴巴达摩院与湖畔实验室于2025年联合发布,旨在解决视频虚拟试穿领域的高保真与时序一致性难题。该数据集包含130段720p分辨率视频,涵盖上衣、下装与连衣裙三大类别,通过多样化服装纹理、复杂人体姿态及动态场景设置,填补了现有ViViD等数据集在分辨率与场景复杂度上的不足。其核心技术依托于3DV-TON框架,首次引入可动画的纹理化3D人体网格作为显式引导,突破了传统基于光流变形方法在剧烈服装变形时的时空连贯性瓶颈,为电商虚拟试穿、数字人交互等应用提供了关键基准。
当前挑战
视频虚拟试穿面临的核心挑战在于平衡服装细节还原与运动连贯性:一方面需处理复杂布料物理特性(如丝绸褶皱、针织纹理)在动态中的形变规律,另一方面需解决多视角下纹理一致性与遮挡区域合成问题。HRVVT构建过程中,团队需攻克三大技术难点:1)从单帧图像重建可驱动3D服装模型时的拓扑保持与纹理映射精度控制;2)视频序列中人体姿态估计误差导致的服装错位累积;3)高分辨率下GPU显存与计算效率的优化。此外,数据标注涉及精细的服装语义分割与3D关键点标注,对人工校验提出了极高要求。
常用场景
经典使用场景
HRVVT数据集作为高分辨率视频虚拟试穿基准,其核心应用场景聚焦于评估扩散模型在复杂动态环境下的服装纹理保持与时序一致性生成能力。该数据集通过收录130段涵盖上衣、下装及连衣裙的720p视频,为研究者提供了多角度人体运动、丰富服装材质及复杂背景的测试样本,尤其适用于验证3D纹理引导的生成框架在跨帧服装细节还原与运动连贯性方面的性能表现。
实际应用
在电商领域,HRVVT支持开发沉浸式虚拟试衣系统,消费者可通过动态视频直观评估服装在不同运动状态(如行走、转身)下的真实垂坠感与贴合度。影视工业中,该数据集助力数字替身服装的高效生成,显著降低传统物理模拟的成本。其3D纹理标注特性更延伸至AR/VR应用,实现虚实融合场景中服装光影交互的真实模拟。
衍生相关工作
基于HRVVT的3D纹理引导机制,后续研究衍生出两大方向:一是如TexFlowNet将3D服装参数化为可微流体场以提升动态模拟精度;二是类似VidSMPLer的轻量化框架,通过数据集预训练的纹理插值网络实现实时视频重着装。这些工作共同推进了从静态试穿到动态合成的技术跨越,相关成果在CVPR 2026虚拟试穿研讨会中形成专题讨论。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

LFW

人脸数据集;LFW数据集共有13233张人脸图像,每张图像均给出对应的人名,共有5749人,且绝大部分人仅有一张图片。每张图片的尺寸为250X250,绝大部分为彩色图像,但也存在少许黑白人脸图片。 URL: http://vis-www.cs.umass.edu/lfw/index.html#download

AI_Studio 收录

中国食物成分数据库

食物成分数据比较准确而详细地描述农作物、水产类、畜禽肉类等人类赖以生存的基本食物的品质和营养成分含量。它是一个重要的我国公共卫生数据和营养信息资源,是提供人类基本需求和基本社会保障的先决条件;也是一个国家制定相关法规标准、实施有关营养政策、开展食品贸易和进行营养健康教育的基础,兼具学术、经济、社会等多种价值。 本数据集收录了基于2002年食物成分表的1506条食物的31项营养成分(含胆固醇)数据,657条食物的18种氨基酸数据、441条食物的32种脂肪酸数据、130条食物的碘数据、114条食物的大豆异黄酮数据。

国家人口健康科学数据中心 收录

烟火数据集

烟火数据集是一个专门用于烟火识别和检测任务的数据集,旨在帮助研究人员开发更加精确和高效的烟火识别算法。包含了大量真实场景下的烟火视频数据,具有广泛的应用前景和重要的研究价值。

阿里云天池 收录

Subway Dataset

该数据集包含了全球多个城市的地铁系统数据,包括车站信息、线路图、列车时刻表、乘客流量等。数据集旨在帮助研究人员和开发者分析和模拟城市交通系统,优化地铁运营和乘客体验。

www.kaggle.com 收录

World Oil Production Data

该数据集包含了全球各国的石油生产数据,涵盖了从1973年至今的年度和月度数据。数据包括各国的原油产量、天然气液体产量以及总液体产量。此外,数据集还提供了各国的石油消费量和净进口量等信息。

www.eia.gov 收录