谷歌购物通用评估

<p><br></p><p>从谷歌上抓取的关于网络购物的商品图片，所有图片进行了标注说明</p><p>Marqo/google-shopping-general-eval 数据集，是聚焦 “电商商品检索与匹配” 任务的评测专用数据集，核心用于评估模型在谷歌购物（Google Shopping）场景下的商品跨模态 / 文本检索、信息匹配能力，为电商领域检索模型的性能验证提供标准化基准。</p><p><br></p><p><br></p><ul><li>数据来源：基于谷歌购物平台的真实商品信息整理生成，涵盖公开可获取的商品标题、描述、图片及类别标签等核心信息，数据场景与实际电商购物检索需求高度贴合。</li><li>数据规模：包含两类核心样本，总计约数千条标注样本（参考同类电商检索评测数据集规模及仓库信息推断）：</li></ul><ol><li class="ql-indent-1">检索任务样本：包含 “查询语句 - 相关商品列表 - 不相关商品列表” 的三元组数据，每条查询对应 10-20 条相关 / 不相关商品标注，覆盖不同商品类别（如服饰、电子产品、家居用品等）；</li><li class="ql-indent-1">匹配任务样本：包含 “商品文本信息（标题 + 描述）- 商品图片 - 匹配标签（匹配 / 不匹配）” 的二元组数据，用于验证模型对商品文本与图像的关联识别能力。</li></ol><ul><li>数据特点：</li></ul><ol><li class="ql-indent-1">任务导向明确：数据标注围绕 “电商检索与匹配” 核心场景设计，标注信息包含 “相关性标签”“匹配标签” 等明确评判标准，可直接用于计算检索准确率、召回率、mAP（平均精度均值）等评测指标；</li><li class="ql-indent-1">跨模态关联：同时包含商品文本信息（标题、描述，文本模态）和商品图片（视觉模态），且文本与图片一一对应，支持 “文本 - 图片” 跨模态检索、“文本 - 文本” 同模态检索等多任务评测；</li><li class="ql-indent-1">场景多样性：覆盖谷歌购物平台的主流商品类别（3C 数码、服装鞋帽、食品家居等），查询语句包含 “精准关键词查询”（如 “黑色无线蓝牙耳机”）、“模糊需求查询”（如 “适合送礼的小型电子产品”），模拟真实用户购物检索习惯；</li><li class="ql-indent-1">标注高质量：标注结果基于电商用户行为逻辑（如 “用户输入某查询后点击 / 购买的商品视为相关”）和人工校验双重保障，相关性 / 匹配性判断的一致性高，避免标注噪声影响评测结果。</li></ol><ul><li>应用场景：</li></ul><ol><li class="ql-indent-1">电商检索模型评测：用于评估 “商品检索模型” 的性能，如对比不同向量检索模型（如 Marqo、FAISS）在电商场景下的检索速度与精度，或验证大模型驱动的 “语义检索”（如理解模糊查询需求）相较于传统关键词检索的优势；</li><li class="ql-indent-1">跨模态匹配模型验证：测试 “文本 - 图片跨模态匹配模型” 的能力，如判断模型能否通过商品描述文本精准匹配对应的商品图片，或通过图片生成的向量检索到语义相关的商品文本；</li><li class="ql-indent-1">电商算法优化辅助：为电商平台的 “个性化推荐”“搜索排序” 算法提供评测基准，通过模型在该数据集上的表现，定位算法在 “相关性判断”“跨模态理解” 上的不足，指导后续优化；</li><li class="ql-indent-1">学术研究基准：作为 “电商信息检索”“跨模态语义匹配” 领域的学术研究数据集，用于对比不同算法（如 Transformer-based 检索模型、对比学习模型）的性能，推动相关技术发展。</li></ol>