Marqo/google-shopping-general-eval-100k

Marqo Ecommerce Embedding Models是一个用于电子商务产品嵌入的预训练模型数据集。该数据集包含GoogleShopping-1m和AmazonProducts-3m两个评估数据集，以及用于产品嵌入的两个模型：Marqo-Ecommerce-B和Marqo-Ecommerce-L。这些模型在多个评估指标上均优于目前最佳的开放源代码模型和私人模型。The Marqo Ecommerce Embedding Models dataset is a pre-trained model dataset for e-commerce product embeddings. It includes two evaluation datasets, GoogleShopping-1m and AmazonProducts-3m, and two product embedding models, Marqo-Ecommerce-B and Marqo-Ecommerce-L. These models outperform the current best open-source and private models on multiple evaluation metrics.

搜集汇总

数据集介绍

构建方式

在电子商务搜索与推荐领域，高质量的多模态评估数据集是推动模型性能提升的关键基石。Marqo/google-shopping-general-eval-100k 数据集源自 Google Shopping 平台，旨在为电商场景下的图文检索任务提供标准化的评测基准。该数据集精心构建了约 10 万条商品样本，每条样本均包含商品图像（image）、唯一标识符（item_ID）、用户查询文本（query）、商品标题（title）以及排序位置（position）等字段。数据以单一测试集（test）形式发布，确保评估过程的简洁性与可复现性，为后续的模型对比与算法研究奠定了坚实的数据基础。

使用方法

研究者可借助 HuggingFace 的 datasets 库便捷地加载该数据集，并配合 Marqo 发布的专用电商嵌入模型（如 Marqo-Ecommerce-B 或 Marqo-Ecommerce-L）进行评测。典型的使用流程包括：首先通过指定 left-key 与 right-key 定义查询与候选集字段（如 title 与 image），然后利用 Generalized Contrastive Learning (GCL) 框架运行检索脚本，最后计算 mAP、MRR、nDCG@10 等核心指标。该数据集特别适用于对比不同多模态模型在电商场景下的检索精度，为模型选型与优化提供客观依据。

背景与挑战

背景概述

随着电子商务领域的蓬勃发展，商品检索的精准性与效率成为提升用户体验和商业转化的核心要素。由Marqo团队于2024年发布的GoogleShopping-General-Eval-100k数据集，由Tianyu Zhu和Jesse Clark主导构建，旨在为多模态商品嵌入模型的评估提供标准化基准。该数据集整合了来自Google Shopping的约10万条商品样本，涵盖图像、标题、查询及类别标签等关键信息，聚焦于文本到图像与类别到图像的跨模态检索任务。其诞生源于现有通用嵌入模型在电商场景下表现欠佳的现实困境，通过提供大规模、高真实度的评估数据，为Marqo-Ecommerce系列模型的性能验证奠定了坚实基础，显著推动了电商搜索领域的技术进步。

当前挑战

该数据集所涉及的领域挑战首要在于电商商品检索的多模态对齐难题，即如何从海量商品中精准匹配用户文本查询与对应图像，克服视觉与语义间的鸿沟。构建过程中面临的主要挑战包括：数据规模与真实性的平衡，需在有限样本内涵盖多样化的商品类别与查询意图；标注质量的控制，确保商品标题、类别与图像内容的高度一致性；以及评估任务的复杂度设计，需区分难易场景以全面反映模型在真实世界大规模检索中的鲁棒性。此外，如何构建一个公平且可复现的评估协议，以兼容不同模型架构与API限制，亦是技术实现中的关键难点。

常用场景

经典使用场景

在电子商务与多模态检索领域，Marqo/google-shopping-general-eval-100k 数据集被广泛用作评估多模态嵌入模型性能的基准测试集。该数据集包含了近10万条商品样本，每条样本由商品图像、标题、类别查询及唯一标识符构成，特别适用于文本到图像（Text-to-Image）与类别到图像（Category-to-Image）两种检索任务的评测。研究者通常利用该数据集来对比不同嵌入模型在商品检索场景下的表现，通过MRR、nDCG@10、Recall等指标衡量模型对商品语义理解的精准度与鲁棒性。

解决学术问题

该数据集的核心价值在于解决了电子商务多模态检索中缺乏大规模、高质量标准化评测基准的学术困境。此前，研究者常依赖通用图像检索数据集（如COCO、Flickr30k）评估模型，但这些数据集无法真实反映电商商品的多模态语义复杂性，例如商品标题与图像之间的细粒度匹配、类别层级推理等挑战。Marqo/google-shopping-general-eval-100k 的提出，为学术界提供了专门针对电商场景的评测平台，使得模型在商品搜索、属性对齐、跨模态理解等方面的进步得以量化，极大地推动了多模态表示学习与信息检索理论的交叉发展。

实际应用

在实际应用层面，该数据集直接服务于电商平台的核心功能——智能商品搜索与推荐系统。基于该数据集训练的嵌入模型，可赋能用户通过自然语言描述（如“北欧风实木餐桌”）或商品类别（如“家具 > 桌椅”）快速检索到最匹配的商品图像，显著提升搜索召回率与用户购物体验。此外，该数据集还可用于构建视觉相似商品推荐、广告素材自动匹配、以及跨平台商品去重等工业级应用，帮助电商企业降低运营成本并提高转化效率。

数据集最近研究

最新研究方向

当前，电商领域多模态检索研究正聚焦于构建高精度、大规模的产品表征模型，以应对商品图片与文本描述间复杂的语义对齐挑战。Marqo推出的GoogleShopping-General-Eval-100k评估数据集，作为GoogleShopping-1m的子集，与Marqo-Ecommerce-B和Marqo-Ecommerce-L嵌入模型协同发布，为电商搜索任务提供了标准化评测基准。该数据集涵盖文本到图像、类别到图像等典型检索场景，其前沿研究方向在于验证基于广义对比学习（GCL）的专用嵌入模型在真实电商场景中的泛化能力。实验表明，Marqo-Ecommerce-L在MRR和nDCG@10指标上相较于当前最优开源模型ViT-SO400M-14-SigLIP分别提升17.6%和20.5%，甚至大幅超越商业模型Amazon-Titan-Multimodal，揭示了针对电商领域定制化多模态表征在提升搜索相关性上的巨大潜力。这一工作不仅推动了电商搜索从通用视觉模型向领域专用模型的范式转变，也为大规模产品索引和实时检索系统的性能突破提供了关键数据支撑与算法参考。