Marqo/deepfashion-multimodal

--- dataset_info: features: - name: image dtype: image - name: category1 dtype: string - name: category2 dtype: string - name: category3 dtype: float64 - name: text dtype: string - name: item_ID dtype: string splits: - name: data num_bytes: 143032788.688 num_examples: 42537 download_size: 152932414 dataset_size: 143032788.688 configs: - config_name: default data_files: - split: data path: data/data-* --- **Disclaimer**: We do not own this dataset. DeepFashion dataset is a public dataset which can be accessed through its [website](https://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html). This dataset was used to evaluate Marqo-FashionCLIP and Marqo-FashionSigLIP - see details below. # Marqo-FashionSigLIP Model Card Marqo-FashionSigLIP leverages Generalised Contrastive Learning ([GCL](https://www.marqo.ai/blog/generalized-contrastive-learning-for-multi-modal-retrieval-and-ranking)) which allows the model to be trained on not just text descriptions but also categories, style, colors, materials, keywords and fine-details to provide highly relevant search results on fashion products. The model was fine-tuned from ViT-B-16-SigLIP (webli). **Github Page**: [Marqo-FashionCLIP](https://github.com/marqo-ai/marqo-FashionCLIP) **Blog**: [Marqo Blog](https://www.marqo.ai/blog/search-model-for-fashion) ## Usage The model can be seamlessly used with [OpenCLIP](https://github.com/mlfoundations/open_clip) by ```python import open_clip model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:Marqo/marqo-fashionSigLIP') tokenizer = open_clip.get_tokenizer('hf-hub:Marqo/marqo-fashionSigLIP') import torch from PIL import Image image = preprocess_val(Image.open("docs/fashion-hippo.png")).unsqueeze(0) text = tokenizer(["a hat", "a t-shirt", "shoes"]) with torch.no_grad(), torch.cuda.amp.autocast(): image_features = model.encode_image(image) text_features = model.encode_text(text) image_features /= image_features.norm(dim=-1, keepdim=True) text_features /= text_features.norm(dim=-1, keepdim=True) text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1) print("Label probs:", text_probs) ``` ## Benchmark Results Average evaluation results on 6 public multimodal fashion datasets ([Atlas](https://huggingface.co/datasets/Marqo/atlas), [DeepFashion (In-shop)](https://huggingface.co/datasets/Marqo/deepfashion-inshop), [DeepFashion (Multimodal)](https://huggingface.co/datasets/Marqo/deepfashion-multimodal), [Fashion200k](https://huggingface.co/datasets/Marqo/fashion200k), [KAGL](https://huggingface.co/datasets/Marqo/KAGL), and [Polyvore](https://huggingface.co/datasets/Marqo/polyvore)) are reported below: **Text-To-Image (Averaged across 6 datasets)** | Model | AvgRecall | Recall@1 | Recall@10 | MRR | |----------------------------|-------------|------------|-------------|-----------| | Marqo-FashionSigLIP | **0.231** | **0.121** | **0.340** | **0.239** | | FashionCLIP2.0 | 0.163 | 0.077 | 0.249 | 0.165 | | OpenFashionCLIP | 0.132 | 0.060 | 0.204 | 0.135 | | ViT-B-16-laion2b_s34b_b88k | 0.174 | 0.088 | 0.261 | 0.180 | | ViT-B-16-SigLIP-webli | 0.212 | 0.111 | 0.314 | 0.214 | **Category-To-Product (Averaged across 5 datasets)** | Model | AvgP | P@1 | P@10 | MRR | |----------------------------|-----------|-----------|-----------|-----------| | Marqo-FashionSigLIP | **0.737** | **0.758** | **0.716** | **0.812** | | FashionCLIP2.0 | 0.684 | 0.681 | 0.686 | 0.741 | | OpenFashionCLIP | 0.646 | 0.653 | 0.639 | 0.720 | | ViT-B-16-laion2b_s34b_b88k | 0.662 | 0.673 | 0.652 | 0.743 | | ViT-B-16-SigLIP-webli | 0.688 | 0.690 | 0.685 | 0.751 | **Sub-Category-To-Product (Averaged across 4 datasets)** | Model | AvgP | P@1 | P@10 | MRR | |----------------------------|-----------|-----------|-----------|-----------| | Marqo-FashionSigLIP | **0.725** | **0.767** | **0.683** | **0.811** | | FashionCLIP2.0 | 0.657 | 0.676 | 0.638 | 0.733 | | OpenFashionCLIP | 0.598 | 0.619 | 0.578 | 0.689 | | ViT-B-16-laion2b_s34b_b88k | 0.638 | 0.651 | 0.624 | 0.712 | | ViT-B-16-SigLIP-webli | 0.643 | 0.643 | 0.643 | 0.726 | When using the datset, cite the original work. ``` @inproceedings{liu2016deepfashion, author = {Liu, Ziwei and Luo, Ping and Qiu, Shi and Wang, Xiaogang and Tang, Xiaoou}, title = {DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations}, booktitle = {Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, month = June, year = {2016} } ```dataset_info: 数据集信息: 特征字段: - 字段名: image, 数据类型: 图像 - 字段名: category1, 数据类型: 字符串 - 字段名: category2, 数据类型: 字符串 - 字段名: category3, 数据类型: 64位浮点数 - 字段名: text, 数据类型: 字符串 - 字段名: item_ID, 数据类型: 字符串 数据划分: - 划分名称: data, 字节数: 143032788.688, 样本数量: 42537 下载大小: 152932414 数据集总大小: 143032788.688 configs: 配置项: - 配置名称: default, 数据文件: - 划分: data, 路径: data/data-* --- **免责声明**: 本数据集非我方所有。DeepFashion 数据集为公开数据集，可通过其[官方网站](https://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html)获取。 本数据集用于评估 Marqo-FashionCLIP 与 Marqo-FashionSigLIP 模型，详情如下。 # Marqo-FashionSigLIP 模型卡片 Marqo-FashionSigLIP 基于通用对比学习（Generalised Contrastive Learning，GCL）构建，该技术允许模型不仅可基于文本描述进行训练，还可融入类别、风格、颜色、材质、关键词与精细细节等信息，从而为时尚产品提供高度相关的检索结果。该模型基于 ViT-B-16-SigLIP (webli) 进行微调。 **GitHub 页面**: [Marqo-FashionCLIP](https://github.com/marqo-ai/marqo-FashionCLIP) **官方博客**: [Marqo 博客](https://www.marqo.ai/blog/search-model-for-fashion) ## 使用方法 该模型可与 [OpenCLIP](https://github.com/mlfoundations/open_clip) 无缝集成，示例代码如下： python import open_clip model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:Marqo/marqo-fashionSigLIP') tokenizer = open_clip.get_tokenizer('hf-hub:Marqo/marqo-fashionSigLIP') import torch from PIL import Image image = preprocess_val(Image.open("docs/fashion-hippo.png")).unsqueeze(0) text = tokenizer(["a hat", "a t-shirt", "shoes"]) with torch.no_grad(), torch.cuda.amp.autocast(): image_features = model.encode_image(image) text_features = model.encode_text(text) image_features /= image_features.norm(dim=-1, keepdim=True) text_features /= text_features.norm(dim=-1, keepdim=True) text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1) print("Label probs:", text_probs) ## 基准测试结果 本文报告了在6个公开多模态时尚数据集上的平均评估结果，分别为 [Atlas](https://huggingface.co/datasets/Marqo/atlas)、[DeepFashion（店内商品）](https://huggingface.co/datasets/Marqo/deepfashion-inshop)、[DeepFashion（多模态版）](https://huggingface.co/datasets/Marqo/deepfashion-multimodal)、[Fashion200k](https://huggingface.co/datasets/Marqo/fashion200k)、[KAGL](https://huggingface.co/datasets/Marqo/KAGL) 以及 [Polyvore](https://huggingface.co/datasets/Marqo/polyvore)： ### 文本到图像检索（6个数据集平均） | 模型名称 | 平均召回率（AvgRecall） | 召回率@1（Recall@1） | 召回率@10（Recall@10） | 平均倒数排名（Mean Reciprocal Rank，MRR） | |----------------------------|-------------|------------|-------------|-----------| | Marqo-FashionSigLIP | **0.231** | **0.121** | **0.340** | **0.239** | | FashionCLIP2.0 | 0.163 | 0.077 | 0.249 | 0.165 | | OpenFashionCLIP | 0.132 | 0.060 | 0.204 | 0.135 | | ViT-B-16-laion2b_s34b_b88k | 0.174 | 0.088 | 0.261 | 0.180 | | ViT-B-16-SigLIP-webli | 0.212 | 0.111 | 0.314 | 0.214 | ### 类别到商品检索（5个数据集平均） | 模型名称 | 平均精确率（AvgP） | 精确率@1（P@1） | 精确率@10（P@10） | 平均倒数排名（MRR） | |----------------------------|-----------|-----------|-----------|-----------| | Marqo-FashionSigLIP | **0.737** | **0.758** | **0.716** | **0.812** | | FashionCLIP2.0 | 0.684 | 0.681 | 0.686 | 0.741 | | OpenFashionCLIP | 0.646 | 0.653 | 0.639 | 0.720 | | ViT-B-16-laion2b_s34b_b88k | 0.662 | 0.673 | 0.652 | 0.743 | | ViT-B-16-SigLIP-webli | 0.688 | 0.690 | 0.685 | 0.751 | ### 子类别到商品检索（4个数据集平均） | 模型名称 | 平均精确率（AvgP） | 精确率@1（P@1） | 精确率@10（P@10） | 平均倒数排名（MRR） | |----------------------------|-----------|-----------|-----------|-----------| | Marqo-FashionSigLIP | **0.725** | **0.767** | **0.683** | **0.811** | | FashionCLIP2.0 | 0.657 | 0.676 | 0.638 | 0.733 | | OpenFashionCLIP | 0.598 | 0.619 | 0.578 | 0.689 | | ViT-B-16-laion2b_s34b_b88k | 0.638 | 0.651 | 0.624 | 0.712 | | ViT-B-16-SigLIP-webli | 0.643 | 0.643 | 0.643 | 0.726 | 使用本数据集时，请引用原文献： bibtex @inproceedings{liu2016deepfashion, author = {Liu, Ziwei and Luo, Ping and Qiu, Shi and Wang, Xiaogang and Tang, Xiaoou}, title = {DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations}, booktitle = {Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, month = June, year = {2016} }

搜集汇总

数据集介绍

构建方式

Marqo/deepfashion-multimodal 数据集源自香港中文大学多媒体实验室发布的 DeepFashion 公开数据集，经 Marqo 团队整理后以多模态形式呈现。该数据集包含 42,537 个样本，每个样本由图像、文本描述、三级类别标签（category1、category2、category3）以及唯一物品标识符（item_ID）组成。数据以 Hugging Face Dataset 格式存储，通过预设的 data 划分统一管理，并采用分块文件（data/data-*）组织，便于高效加载与分布式处理。构建过程旨在为服装识别与检索任务提供丰富的标注信息，支持图文跨模态学习。

特点

该数据集的核心特色在于其多粒度类别标注与多模态融合特性。三级类别体系（category1 为粗粒度分类，category2 为中粒度分类，category3 为浮点数编码的细粒度属性）实现了从大类到细节的层次化描述，为细粒度服装理解提供了坚实基础。图像与文本字段的配对设计，使得数据天然适用于对比学习框架，如 Marqo-FashionSigLIP 模型在此数据上的微调即充分利用了图文对齐能力。此外，作为公开基准数据集之一，它在多项评估（如文本到图像检索、类别到产品匹配）中展现出稳定的性能，推动时尚领域多模态检索技术的发展。

使用方法

用户可通过 Hugging Face Datasets 库便捷加载该数据集，使用 load_dataset('Marqo/deepfashion-multimodal') 命令即可获取完整数据。数据以图像、文本和类别标签的形式提供，适用于训练跨模态检索模型或评估已有模型（如 FashionCLIP、SigLIP）的性能。典型用法包括：利用图像与文本配对进行对比学习预训练，或基于类别标签构建分类任务。由于数据集已标准化为 image 和 string 类型字段，开发者可直接将其接入 PyTorch 或 TensorFlow 的数据流水线，无需额外预处理。引用时需注明原始 DeepFashion 论文。

背景与挑战

背景概述

Marqo/deepfashion-multimodal数据集源自香港中文大学多媒体实验室于2016年发布的DeepFashion项目，由Liu Ziwei、Luo Ping等学者主导，旨在推动服装识别与检索领域的多模态理解。该数据集整合了图像、文本描述及多层级类别标签，核心研究问题在于弥合视觉与语义信息之间的鸿沟，为时尚商品检索提供细粒度、跨模态的基准。作为Marqo团队评估FashionSigLIP模型的关键测试集之一，它通过涵盖类别、风格、材质等丰富注释，显著提升了多模态检索任务的可靠性，对服装领域的视觉-语言对齐研究产生了深远影响。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：现有跨模态检索模型在细粒度时尚属性（如颜色、纹理）的语义匹配上仍存在显著误差，尤其是面对子类别模糊或视觉相似商品时，检索精度难以满足实际应用需求。此外，构建过程中遇到的核心挑战包括：多层级标签（如类别1至类别3）的标注一致性难以保障，不同标注人员对时尚术语的理解差异可能导致标签噪声；同时，图像与文本描述之间的对齐需要兼顾视觉细节与语义抽象，这对数据清洗和特征融合提出了严苛要求，限制了模型在复杂场景下的泛化能力。

常用场景

经典使用场景

Marqo/deepfashion-multimodal 数据集作为时尚领域多模态学习的基石，经典使用场景聚焦于跨模态检索与细粒度服饰理解。该数据集聚类图像、文本描述及多层级类别标签于一体，为训练和评估视觉-语言联合嵌入模型提供了标准化基准。研究者常利用其丰富的属性标注，开展文本到图像、类别到商品以及子类别到商品的多模态匹配任务，从而验证模型在复杂时尚场景下的语义对齐能力。例如，通过对比不同CLIP变体在Recall@1和MRR等指标上的表现，该数据集已成为衡量时尚检索系统鲁棒性的重要试验场。

实际应用

在实际产业应用中，该数据集赋能了智能时尚搜索与个性化推荐系统。电商平台可借助基于此数据训练的模型，实现用户以图搜图、自然语言描述找款（如“红色丝绸连衣裙”）等交互方式，大幅提升购物体验的直观性与效率。此外，它还被用于开发虚拟试衣间的属性匹配模块，通过精准识别服饰类别与子类别（如“短袖T恤”与“圆领”），辅助自动搭配建议生成。在库存管理场景中，模型能自动标注商品的多维属性，减少人工标注成本，推动时尚供应链的数字化升级。

衍生相关工作

围绕该数据集衍生出一系列经典工作，其中最引人注目的是Marqo-FashionCLIP与Marqo-FashionSigLIP模型。这些工作基于ViT架构与广义对比学习框架，在DeepFashion Multimodal上微调后，显著超越了OpenFashionCLIP等基线方法，在六个公开数据集上刷新了文本-图像检索的Recall@1和MRR记录。此外，数据集催生了属性感知的跨模态排序研究，如通过引入子类别标签增强检索精度，以及探索多级语义对齐策略。这些衍生工作不仅验证了数据集在细粒度时尚理解中的核心地位，还推动了视觉-语言模型从通用领域向垂直行业的专业化迁移。