nixiesearch/amazon-esci-hardnegatives

Amazon ESCI Hard Negatives数据集是一个与nixietune兼容格式的数据集，它是Amazon ESCI small-en数据集的扩展版本。该数据集为所有查询生成了额外的32个负样本，负样本的生成使用了基于RRF的混合搜索方法，结合了BM25评分和基于intfloat/e5-base-v2嵌入模型的余弦相似度。数据集可以直接通过Hugging Face的datasets库加载。

原始信息汇总

Amazon ESCI Hard Negatives 数据集

基本信息

• 语言: 英语
• 许可证: Apache 2.0
• 标签: 文本
• 数据集大小: 100K<n<1M
• 源数据集: Amazon ESCI
• 任务类别: 句子相似度

数据集配置

• 配置名称: default
• 特征:
  • query: 字符串
  • positive: 字符串序列
  • negative: 字符串序列

数据分割

• 训练集:
  • 字节数: 361711993
  • 样本数: 74589
• 测试集:
  • 字节数: 109820429
  • 样本数: 22398

训练与评估索引

• 配置: default
• 任务: 句子相似度
• 分割:
  • 训练分割: train
  • 评估分割: test

配置详情

• 配置名称: default
• 数据文件:
  • 训练集: data/train/*
  • 测试集: data/test/*

数据集描述

• 该数据集是 Amazon ESCI small-en 数据集的扩展版本，包含以下新增内容:
  • 所有查询额外生成了 32 个负样本
  • 负样本生成基于 RRF 混合搜索，结合了 BM25 分数和基于 [intfloat/e5-base-v2] 嵌入模型的余弦相似度
  • 可以直接使用 HF datasets 加载

使用示例

python from datasets import load_dataset

data = load_dataset(nixiesearch/amazon-esci-hardnegatives, split="train")

搜集汇总

数据集介绍

构建方式

在信息检索与语义匹配的研究领域中，高质量负样本的构建是提升模型判别能力的关键一环。nixiesearch/amazon-esci-hardnegatives数据集基于Amazon ESCI small-en数据集进行了深度扩展，旨在为句子相似度任务提供更具挑战性的训练样本。其构建方式独具匠心：针对原始数据集中的每一条查询，额外生成了32个难负样本。这些负样本并非随机选取，而是通过一种融合BM25评分与基于intfloat/e5-base-v2嵌入模型的余弦相似度的RRF混合搜索策略精心筛选而得，从而确保了负样本在语义上与查询具有较高的混淆性，能够有效锻炼模型的细粒度区分能力。

特点

该数据集的核心特点在于其难负样本的生成机制与规模。它包含约74,589条训练样本和22,398条测试样本，每条样本均由一个查询、一组正样本（positive）和一组负样本（negative）构成。正样本保留了原始ESCI数据集中与查询高度相关的商品标题，而负样本则通过上述混合检索策略从海量候选中挖掘，使得模型在训练时面对的是语义接近但相关性不足的“硬”干扰项。这种设计不仅提升了数据集的难度与实用性，还使其与主流的信息检索评估体系相契合，为研究语义相似性、对比学习等任务提供了坚实的基准资源。

使用方法

数据集的加载与使用极为便捷，完全兼容HuggingFace的datasets库。开发者只需一行代码即可将数据加载至模型训练流程中：使用`from datasets import load_dataset`，然后通过`load_dataset('nixiesearch/amazon-esci-hardnegatives', split="train")`指定训练集或测试集。加载后的数据以字典形式呈现，包含query、positive和negative三个字段，其中positive和negative均为字符串列表。这种结构化的格式使得数据可以无缝接入基于PyTorch或TensorFlow的对比学习、双编码器或交叉编码器训练管线，极大简化了从数据准备到模型迭代的工程复杂度。

背景与挑战

背景概述

在信息检索与语义匹配领域，训练高质量的检索模型高度依赖于包含精确正负样本对的标注数据。nixiesearch/amazon-esci-hardnegatives数据集由nixiesearch团队于2023年基于Amazon ESCI数据集扩展构建，旨在为电商场景下的查询-产品匹配任务提供更具挑战性的负样本。该数据集源自亚马逊商品搜索的ESCI（Exact、Substitute、Complement、Irrelevant）标注体系，核心研究问题在于如何通过引入更多语义相近的难负样本，提升模型区分细微差别的能力。通过为每条查询额外生成32个基于混合检索策略（结合BM25与E5嵌入模型的余弦相似度）的难负样本，该数据集显著增强了训练数据的判别性，对推动信息检索、句子相似度学习及电商搜索领域的研究具有重要价值。

当前挑战

该数据集面临的核心挑战包括：其一，在领域问题层面，电商搜索场景中查询与产品的语义匹配高度复杂，例如同一查询可能对应多个相关但不同类别的商品（如替代品与互补品），模型需精准识别细微语义差异，而传统随机负样本难以提供足够的训练信号。其二，在构建过程中，负样本的生成需平衡效率与质量——采用RRF混合检索虽能高效产出语义相近的难负样本，但依赖预训练嵌入模型（如intfloat/e5-base-v2）的泛化能力，若模型在特定品类上存在偏差，可能导致生成的负样本偏离真实分布。此外，数据规模（约7.4万训练样本）虽具代表性，但仍需进一步扩展以覆盖长尾查询，避免模型对高频模式的过拟合。

常用场景

经典使用场景

在信息检索与自然语言处理领域中，nixiesearch/amazon-esci-hardnegatives数据集被广泛用于训练和评估句子相似度模型，尤其是在电商搜索场景下的查询与商品匹配任务。该数据集以Amazon ESCI数据为基础，通过混合检索策略（如BM25与E5嵌入模型的余弦相似度融合）为每条查询扩充了32个硬负样本，从而构建出更具挑战性的三元组结构。研究者常利用其训练集来微调双编码器或交叉编码器架构，以提升模型对语义细微差别的辨别能力，进而优化检索排序的精准度。

衍生相关工作

该数据集衍生出一系列经典工作，主要集中在难负样本生成策略与检索增强模型的设计上。例如，研究者基于其RRF混合检索框架，提出了自适应负样本采样方法，将BM25与稠密检索的权重动态调整以适配不同领域；另一些工作则利用该数据集验证了对比学习中的温度系数调整对排序鲁棒性的影响。此外，该数据集还启发了将硬负样本与知识蒸馏结合的思路，通过教师模型筛选高难度样本，提升轻量级学生模型在移动端检索场景下的表现，形成了从数据构建到模型优化的完整研究链条。

数据集最近研究

最新研究方向

当前，基于电子商务搜索的语义匹配与检索优化已成为信息检索领域的前沿热点。nixiesearch/amazon-esci-hardnegatives数据集应运而生，它源自Amazon ESCI基准，通过融合BM25与基于intfloat/e5-base-v2嵌入模型的余弦相似度的混合检索策略，为每条查询生成了额外的32条困难负样本。这一设计精准回应了现代检索系统中对高质量负样本的迫切需求，尤其是在训练基于对比学习的句子相似度模型时，困难负样本能显著提升模型对细微语义差异的辨识力。该数据集不仅为电商场景下的查询-产品匹配研究提供了更具挑战性的资源，也推动了检索增强生成（RAG）等前沿技术在实际商业系统中的应用落地，对提升用户搜索体验与转化率具有深远意义。