时尚视觉相似性基准数据集

时尚视觉相似性基准数据集是由开放大学等机构创建的大型数据集，包含超过110,000对由专家标注的图像对。该数据集主要用于评估视觉相似性发现方法，特别是在电子商务领域的应用。数据集中的图像对展示了不同对象间的高度视觉相似性，挑战了传统基于识别的评估方法。创建过程中，研究团队面临了标注效率和准确性的挑战，并提出了一种新的高效标注流程。该数据集的应用领域主要集中在改进视觉相似性模型，以提升搜索和推荐系统的性能。The Fashion Visual Similarity Benchmark Dataset is a large-scale dataset developed by institutions including open universities, containing over 110,000 expert-annotated image pairs. It is primarily used to evaluate visual similarity discovery methods, especially for applications in the e-commerce domain. The image pairs in this dataset exhibit high visual similarity between distinct objects, which poses challenges to traditional recognition-based evaluation methods. During the dataset's creation, the research team faced challenges regarding annotation efficiency and accuracy, and proposed a novel efficient annotation workflow. The main application scenarios of this dataset focus on improving visual similarity models to enhance the performance of search and recommendation systems.

搜集汇总

数据集介绍

构建方式

该数据集基于DeepFashion数据库构建，聚焦于时尚领域的视觉相似性发现任务。研究团队从In-shop Clothes Retrieval子集中选取2000张查询图像，并利用六种预训练视觉模型（如Argus、DINO、BEiT、CLIP等）生成候选图像对。通过提出的高效相似性发现方法，模型为每个查询推荐前六位候选图像，合并去重后形成54170对图像。此外，从Consumer-to-shop Clothes Retrieval子集中选取2000张野外查询图像，与目录图像配对，生成64046对跨域图像。所有图像对均由时尚领域专家进行标注，采用多数投票机制确定正负样本标签。

特点

该数据集是首个大规模时尚视觉相似性基准，包含超过11万对经专家标注的图像对，覆盖目录内和跨域两种场景。其核心创新在于区分了视觉相似性任务与传统的身份识别任务，强调不同物体间感知相似性的评估。数据集通过EDS方法高效生成候选对，显著提升了正样本发现率（约84.8%），同时利用ROC-AUC等相对排序指标缓解了模型偏差问题。此外，数据集包含大量硬负样本，能够有效测试模型对细微视觉差异的区分能力。

使用方法

该数据集主要用于评估视觉相似性发现模型的性能。研究人员可将其作为基准测试集，计算模型在查询-候选图像对上的HR@k、MRR@k以及ROC-AUC等指标。由于数据集存在模型偏差，建议优先采用ROC-AUC和PR-AUC等阈值无关的排序指标进行公平评估。数据集支持封闭目录和野外图像两种发现任务，可用于比较预训练模型与微调模型在跨域泛化能力上的差异。代码和数据集已开源，便于复现实验和拓展研究。

背景与挑战

背景概述

视觉相似性发现（Visual Similarity Discovery, VSD）是计算机视觉领域的重要任务，尤其在电子商务中具有广泛应用，其目标是根据查询图像检索出感知上高度相似但属于不同对象的图像。然而，长期以来，VSD方法的评估依赖于识别-检索任务的代理指标，即评估模型检索同一对象不同图像的能力，这种评估方式存在根本性局限。为突破这一瓶颈，Oren Barkan等研究团队于2023年提出了时尚视觉相似性基准数据集（Fashion Visual Similarity Benchmark），该数据集由超过11万对经过领域专家标注的图像对组成，是首个大规模、面向时尚领域的VSD评估基准。该工作由以色列开放大学、耶路撒冷希伯来大学、特拉维夫大学和以色列理工学院的研究人员共同完成，其核心研究问题在于如何忠实、有效地评估视觉感知相似性，而非仅仅依赖对象身份识别。该数据集的发布为VSD研究提供了可靠的评估基础，推动了视觉相似性发现领域的方法创新与标准化评价。

当前挑战

该数据集所解决的领域问题核心挑战在于：视觉相似性与对象识别之间存在本质差异，同一对象的不同图像可能呈现低感知相似性，而不同对象的图像却可能高度相似，因此基于识别任务的代理评估无法真实反映VSD模型的性能。在数据集构建过程中，面临的主要挑战包括：其一，暴力标注所有图像对在计算上不可行，例如对1万张候选图像和1000张查询图像进行标注需耗费超过4.5年；其二，正样本对在全部图像对中极为稀少，随机采样发现正样本的概率极低；其三，为克服标注效率瓶颈，研究团队提出了高效相似性发现（EDS）方法，但该方法引入了模型偏差，即标注集偏向于参与候选生成的模型，导致对未参与模型的评估不公平；其四，标准检索指标如命中率（HR）和平均倒数排名（MRR）无法有效缓解这种偏差，需要设计新的评估指标来实现公正评价。

常用场景

经典使用场景

时尚视觉相似性基准数据集（VSD Benchmark）的核心经典使用场景在于评估和比较不同视觉相似性发现（VSD）模型在时尚领域的表现。该数据集基于DeepFashion构建，包含超过11万对由领域专家标注的图像对，专门用于衡量模型在检索视觉感知相似但非同款商品时的能力。其典型任务涵盖封闭目录发现（Closed-catalog Discovery）和野外图像发现（Image in the Wild Discovery），前者要求模型从商店目录中检索与查询商品视觉相似的异款商品，后者则挑战模型在跨域条件下（如用户拍摄的杂乱背景图像与专业目录图像之间）实现鲁棒匹配，从而为VSD研究提供了首个大规模、专家标注的评估基准。

衍生相关工作

该数据集衍生了一系列经典工作，包括对VSD评估指标的革新：研究者基于其专家标注提出了ROC-AUC等抗偏置度量，以缓解因标注集不完整导致的模型评价不公。此外，数据集催生了多种高效标注方法（如EDS方法），通过结合多个预训练视觉模型生成候选对，大幅降低了专家标注成本。在模型层面，后续工作探索了自监督与弱监督训练策略（如DINO、SwAG）在VSD任务中的优势，发现传统监督微调反而会损害模型泛化能力。这些研究不仅推动了时尚领域VSD的发展，其方法论还被扩展至自然语言理解与音频分析等跨模态感知相似性任务中。

数据集最近研究

最新研究方向

在电子商务与计算机视觉交叉领域，视觉相似性发现（VSD）正成为核心议题，然而传统评估方法多依赖于同一物品的识别检索任务，难以捕捉不同物品间细微的感知相似性。最新研究提出了首个大规模时尚视觉相似性基准数据集，包含超过11万对由领域专家标注的图像对，并创新性地开发了高效相似性发现（EDS）标注流程，通过多模型协作与人类专家审核，大幅降低了标注成本。该工作不仅揭示了识别与发现任务之间的本质差异，还引入了ROC-AUC等抗偏差评估指标，为公平比较不同模型提供了可靠框架。这一突破性进展有望推动视觉感知相似性在时尚推荐、跨域检索乃至自然语言与音频分析等领域的广泛应用，为构建更智能、更人性化的感知系统奠定基础。

相关研究论文

• Efficient Discovery and Effective Evaluation of Visual Perceptual Similarity: A Benchmark and Beyond

  开放大学 · 2023年