amazon-products-eval-100k

该数据集用于评估Marqo电子商务嵌入模型，包含GoogleShopping-1m和AmazonProducts-3m两个子集。数据集特征包括图像、商品ID、查询、标题和位置。通过对比不同模型在多个任务上的表现，Marqo-Ecommerce-L和Marqo-Ecommerce-B模型在平均改进的MRR和nDCG@10指标上显著优于其他模型。

原始信息汇总

Amazon Products Eval 100k 数据集概述

数据集信息

特征

• image: 图像数据，数据类型为 image。
• item_ID: 商品ID，数据类型为 string。
• query: 查询文本，数据类型为 string。
• title: 商品标题，数据类型为 string。
• position: 位置信息，数据类型为 int64。

数据集分割

• test: 测试集，包含 100,000 个样本，数据大小为 1,443,194,395 字节。

数据集大小

• 下载大小: 1,132,417,749 字节。
• 数据集大小: 1,443,194,395 字节。

配置

• config_name: default
  • data_files:
    • split: test
    • path: data/test-*

数据集用途

该数据集用于评估电子商务产品的嵌入模型，特别是与 Marqo-Ecommerce-B 和 Marqo-Ecommerce-L 模型相关的任务。

评估结果

Marqo-Ecommerce-Hard

在 Marqo-Ecommerce-Hard 数据集上，Marqo-Ecommerce-L 模型在多个任务中表现优异，具体如下：

GoogleShopping-Text2Image Retrieval

Embedding Model	mAP	R@10	MRR	nDCG@10
Marqo-Ecommerce-L	0.682	0.878	0.683	0.726
Marqo-Ecommerce-B	0.623	0.832	0.624	0.668
ViT-SO400M-14-SigLip	0.573	0.763	0.574	0.613
ViT-L-16-SigLip	0.540	0.722	0.540	0.577
ViT-B-16-SigLip	0.476	0.660	0.477	0.513
Amazon-Titan-MultiModal	0.475	0.648	0.475	0.509
Jina-V1-CLIP	0.285	0.402	0.285	0.306

GoogleShopping-Category2Image Retrieval

Embedding Model	mAP	P@10	MRR	nDCG@10
Marqo-Ecommerce-L	0.463	0.652	0.822	0.666
Marqo-Ecommerce-B	0.423	0.629	0.810	0.644
ViT-SO400M-14-SigLip	0.352	0.516	0.707	0.529
ViT-L-16-SigLip	0.324	0.497	0.687	0.509
ViT-B-16-SigLip	0.277	0.458	0.660	0.473
Amazon-Titan-MultiModal	0.246	0.429	0.642	0.446
Jina-V1-CLIP	0.123	0.275	0.504	0.294

AmazonProducts-Text2Image Retrieval

Embedding Model	mAP	R@10	MRR	nDCG@10
Marqo-Ecommerce-L	0.658	0.854	0.663	0.703
Marqo-Ecommerce-B	0.592	0.795	0.597	0.637
ViT-SO400M-14-SigLip	0.560	0.742	0.564	0.599
ViT-L-16-SigLip	0.544	0.715	0.548	0.580
ViT-B-16-SigLip	0.480	0.650	0.484	0.515
Amazon-Titan-MultiModal	0.456	0.627	0.457	0.491
Jina-V1-CLIP	0.265	0.378	0.266	0.285

Marqo-Ecommerce-Easy

在 Marqo-Ecommerce-Easy 数据集上，Marqo-Ecommerce-L 模型同样表现出色，具体如下：

GoogleShopping-Text2Image Retrieval

Embedding Model	mAP	R@10	MRR	nDCG@10
Marqo-Ecommerce-L	0.879	0.971	0.879	0.901
Marqo-Ecommerce-B	0.842	0.961	0.842	0.871
ViT-SO400M-14-SigLip	0.792	0.935	0.792	0.825
GCP-Vertex	0.740	0.910	0.740	0.779
ViT-L-16-SigLip	0.754	0.907	0.754	0.789
ViT-B-16-SigLip	0.701	0.870	0.701	0.739
Amazon-Titan-MultiModal	0.694	0.868	0.693	0.733
Jina-V1-CLIP	0.480	0.638	0.480	0.511
Cohere-embedding-v3	0.358	0.515	0.358	0.389

GoogleShopping-Category2Image Retrieval

Embedding Model	mAP	P@10	MRR	nDCG@10
Marqo-Ecommerce-L	0.515	0.358	0.764	0.590
Marqo-Ecommerce-B	0.479	0.336	0.744	0.558
ViT-SO400M-14-SigLip	0.423	0.302	0.644	0.487
GCP-Vertex	0.417	0.298	0.636	0.481
ViT-L-16-SigLip	0.392	0.281	0.627	0.458
ViT-B-16-SigLip	0.347	0.252	0.594	0.414
Amazon-Titan-MultiModal	0.308	0.231	0.558	0.377
Jina-V1-CLIP	0.175	0.122	0.369	0.229
Cohere-embedding-v3	0.136	0.110	0.315	0.178

AmazonProducts-Text2Image Retrieval

Embedding Model	mAP	R@10	MRR	nDCG@10
Marqo-Ecommerce-L	0.92	0.978	0.928	0.940
Marqo-Ecommerce-B	0.897	0.967	0.897	0.914
ViT-SO400M-14-SigLip	0.860	0.954	0.860	0.882
ViT-L-16-SigLip	0.842	0.940	0.842	0.865
GCP-Vertex	0.808	0.933	0.808	0.837
ViT-B-16-SigLip	0.797	0.917	0.797	0.825
Amazon-Titan-MultiModal	0.762	0.889	0.763	0.791
Jina-V1-CLIP	0.530	0.699	0.530	0.565
Cohere-embedding-v3	0.433	0.597	0.433	0.465

引用

@software{zhu2024marqoecommembed_2024, author = {Tianyu Zhu and Jesse Clark}, month = oct, title = {{Marqo Ecommerce Embeddings - Foundation Model for Product Embeddings}}, url = {https://github.com/marqo-ai/marqo-ecommerce-embeddings/}, version = {1.0.0}, year = {2024} }

搜集汇总

数据集介绍

构建方式

amazon-products-eval-100k数据集的构建基于亚马逊电商平台的产品信息，涵盖了图像、商品ID、查询词、标题以及商品排名等关键特征。该数据集通过大规模数据采集与清洗，确保了数据的多样性与代表性。其测试集包含10万条样本，数据量达到1.44GB，旨在为电商领域的多模态检索任务提供高质量的评估基准。

使用方法

使用amazon-products-eval-100k数据集时，可通过Hugging Face平台直接加载测试集数据。结合Marqo-Ecommerce-B或Marqo-Ecommerce-L等预训练模型，用户能够进行文本到图像或类别到图像的检索任务。通过调用Transformers或OpenCLIP库，可以轻松实现模型的加载与推理，进一步评估模型在电商检索任务中的性能。

背景与挑战

背景概述

amazon-products-eval-100k数据集由Marqo团队于2024年发布，旨在为电子商务领域的多模态检索任务提供评估基准。该数据集包含10万条样本，涵盖商品图像、商品ID、查询文本、商品标题及其在搜索结果中的位置信息。Marqo团队同期发布了Marqo-Ecommerce-B和Marqo-Ecommerce-L两种嵌入模型，这些模型在文本到图像检索任务中表现优异，显著提升了MRR和nDCG@10等关键指标。该数据集的发布为电子商务搜索系统的优化提供了重要支持，推动了多模态检索技术的发展。

当前挑战

amazon-products-eval-100k数据集在构建和应用过程中面临多重挑战。首先，电子商务领域的多模态检索任务要求模型能够同时处理文本和图像信息，这对模型的跨模态理解能力提出了极高要求。其次，数据集中商品图像的多样性和复杂性增加了模型训练的难度，尤其是在处理低质量或模糊图像时。此外，数据集的规模虽然较大，但与实际电子商务平台的海量数据相比仍显不足，可能影响模型在真实场景中的泛化能力。最后，数据标注的准确性和一致性也是构建过程中的关键挑战，尤其是在处理多语言和多文化背景的商品信息时。

常用场景

经典使用场景

在电子商务领域，amazon-products-eval-100k数据集被广泛用于评估多模态嵌入模型的性能。该数据集包含了丰富的商品图像、标题和查询信息，能够有效支持文本到图像、类别到图像等多种检索任务的模型训练与测试。通过该数据集，研究人员能够深入分析模型在真实电商场景下的表现，尤其是在处理大规模商品数据时的检索精度和效率。

解决学术问题

amazon-products-eval-100k数据集解决了多模态检索模型在电子商务场景中的性能评估问题。通过提供大规模的商品图像和文本数据，该数据集为研究人员提供了一个标准化的测试平台，能够有效衡量模型在文本到图像检索、类别到图像检索等任务中的表现。其意义在于推动了多模态嵌入模型在电商领域的应用，提升了商品搜索的准确性和用户体验。

实际应用

在实际应用中，amazon-products-eval-100k数据集被用于优化电子商务平台的商品搜索功能。通过基于该数据集训练的模型，电商平台能够更精准地匹配用户查询与商品信息，提升搜索结果的准确性和相关性。此外，该数据集还被用于开发智能推荐系统，帮助用户发现更多符合其需求的商品，从而提升用户满意度和购买转化率。

数据集最近研究

最新研究方向

在电子商务领域，图像与文本的多模态检索技术正成为研究热点。Amazon-products-eval-100k数据集作为评估多模态嵌入模型的重要基准，近期研究聚焦于提升模型在复杂场景下的检索性能。Marqo-Ecommerce-L和Marqo-Ecommerce-B模型在Google Shopping和Amazon Products的文本到图像检索任务中表现卓越，尤其在MRR和nDCG@10指标上显著优于现有开源和私有模型。这些进展不仅推动了电子商务搜索技术的革新，也为大规模多模态数据处理提供了新的解决方案，具有广泛的应用前景。