henilp105/ESCI

---
license: apache-2.0
dataset_info:

- config_name: en
features:
- name: example_id
dtype: int64
- name: query
dtype: string
- name: query_id
dtype: int64
- name: product_id
dtype: string
- name: product_locale
dtype: string
- name: esci_label
dtype: string
- name: small_version
dtype: int64
- name: large_version
dtype: int64
- name: product_title
dtype: string
- name: product_description
dtype: string
- name: product_bullet_point
dtype: string
- name: product_brand
dtype: string
- name: product_color
dtype: string
- name: product_text
dtype: string
splits:
- name: test
num_bytes: 1086323901
num_examples: 434234
- config_name: es
features:
- name: example_id
dtype: int64
- name: query
dtype: string
- name: query_id
dtype: int64
- name: product_id
dtype: string
- name: product_locale
dtype: string
- name: esci_label
dtype: string
- name: small_version
dtype: int64
- name: large_version
dtype: int64
- name: product_title
dtype: string
- name: product_description
dtype: string
- name: product_bullet_point
dtype: string
- name: product_brand
dtype: string
- name: product_color
dtype: string
- name: product_text
dtype: string
splits:
- name: test
num_bytes: 265433344
num_examples: 97186

- config_name: jp
features:
- name: example_id
dtype: int64
- name: query
dtype: string
- name: query_id
dtype: int64
- name: product_id
dtype: string
- name: product_locale
dtype: string
- name: esci_label
dtype: string
- name: small_version
dtype: int64
- name: large_version
dtype: int64
- name: product_title
dtype: string
- name: product_description
dtype: string
- name: product_bullet_point
dtype: string
- name: product_brand
dtype: string
- name: product_color
dtype: string
- name: product_text
dtype: string
splits:
- name: test
num_bytes: 280088441
num_examples: 121070
configs:
- config_name: en
data_files:
- split: test
path: en/data-*
- config_name: es
data_files:
- split: test
path: es/data-*
- config_name: jp
data_files:
- split: test
path: jp/data-*
task_categories:
- text-classification
- text-retrieval
language:
- en
- ja
- es
---

许可证：Apache-2.0许可证

数据集信息（dataset_info）包含3个区域配置，分别为en（英语）、es（西班牙语）、jp（日语）：

每个配置的特征如下：
- 示例ID（example_id）：数据类型为int64
- 查询语句（query）：数据类型为字符串
- 查询ID（query_id）：数据类型为int64
- 商品ID（product_id）：数据类型为字符串
- 商品区域（product_locale）：数据类型为字符串
- esci标签（esci_label）：数据类型为字符串
- 小版本标识（small_version）：数据类型为int64
- 大版本标识（large_version）：数据类型为int64
- 商品标题（product_title）：数据类型为字符串
- 商品描述（product_description）：数据类型为字符串
- 商品要点（product_bullet_point）：数据类型为字符串
- 商品品牌（product_brand）：数据类型为字符串
- 商品颜色（product_color）：数据类型为字符串
- 商品文本（product_text）：数据类型为字符串

各配置对应的拆分集（splits）均为测试集（test）：
1. 英语配置（en）：测试集字节数为1086323901，样本量为434234
2. 西班牙语配置（es）：测试集字节数为265433344，样本量为97186
3. 日语配置（jp）：测试集字节数为280088441，样本量为121070

配置项（configs）如下：
- 英语配置（en）：数据文件划分测试集，路径为en/data-*
- 西班牙语配置（es）：数据文件划分测试集，路径为es/data-*
- 日语配置（jp）：数据文件划分测试集，路径为jp/data-*

任务类别（task_categories）包括：文本分类（text-classification）、文本检索（text-retrieval）
支持语言（language）包括：英语（en）、日语（ja）、西班牙语（es）

原始信息汇总

数据集概述

许可证

• Apache 2.0

数据集配置

配置名称：en

• 特征
  • example_id: int64
  • query: string
  • query_id: int64
  • product_id: string
  • product_locale: string
  • esci_label: string
  • small_version: int64
  • large_version: int64
  • product_title: string
  • product_description: string
  • product_bullet_point: string
  • product_brand: string
  • product_color: string
  • product_text: string
• 分割
  • test
    • num_bytes: 1086323901
    • num_examples: 434234
• 数据文件
  • split: test
    • path: en/data-*

配置名称：es

• 特征
  • example_id: int64
  • query: string
  • query_id: int64
  • product_id: string
  • product_locale: string
  • esci_label: string
  • small_version: int64
  • large_version: int64
  • product_title: string
  • product_description: string
  • product_bullet_point: string
  • product_brand: string
  • product_color: string
  • product_text: string
• 分割
  • test
    • num_bytes: 265433344
    • num_examples: 97186
• 数据文件
  • split: test
    • path: es/data-*

配置名称：jp

• 特征
  • example_id: int64
  • query: string
  • query_id: int64
  • product_id: string
  • product_locale: string
  • esci_label: string
  • small_version: int64
  • large_version: int64
  • product_title: string
  • product_description: string
  • product_bullet_point: string
  • product_brand: string
  • product_color: string
  • product_text: string
• 分割
  • test
    • num_bytes: 280088441
    • num_examples: 121070
• 数据文件
  • split: test
    • path: jp/data-*

任务类别

• text-classification
• text-retrieval

语言

• en
• ja
• es

搜集汇总

数据集介绍

构建方式

在电子商务搜索与推荐系统的研究领域中，精准理解用户查询与商品之间的匹配关系是提升用户体验的核心挑战。ESCI数据集（henilp105/ESCI）正是为此而生，它源自亚马逊电商平台的真实交互数据，覆盖英语、西班牙语和日语三种语言环境。该数据集通过系统化的标注流程，为每对查询与商品赋予ESCI标签（Exact、Substitute、Complement、Irrelevant），以此精细刻画查询与商品间的语义关联程度。数据构建过程中，不仅保留了查询文本、商品标题、描述、要点、品牌、颜色等结构化信息，还整合了商品文本的融合字段，从而为多模态语义理解任务提供丰富的原始素材。每个语言配置均包含独立的测试集，确保了跨语言评估的可行性。

特点

ESCI数据集的核心特点在于其多维度、细粒度的标签体系与丰富的元数据。ESCI标签超越了传统的二元相关性判断，通过精确匹配、替代品、互补品与不相关四类标签，揭示了电商场景下用户意图与商品功能之间的复杂关系。数据集的跨语言设计覆盖英语、西班牙语和日语，为多语言检索与分类研究提供了标准化基准。每个样本均包含详细的商品属性字段，如标题、描述、要点、品牌和颜色，这些字段既可独立使用，也可通过预拼接的product_text字段简化输入。此外，数据集规模庞大，英语配置包含超过43万条样本，西班牙语与日语配置也分别拥有近10万与12万条样本，为深度学习模型的训练与评估提供了充足的数据支持。

使用方法

ESCI数据集可广泛应用于文本分类、语义检索与跨语言信息检索等任务。使用时，研究者可通过HuggingFace Datasets库加载指定语言配置（en、es或jp）的测试集。对于文本分类任务，可直接以query与product_text作为输入，以esci_label作为目标标签进行模型训练与评估。在检索任务中，可利用query作为查询，product_text作为候选文档，结合ESCI标签构建相关性判断。数据集的product_locale字段可用于跨语言场景下的领域自适应研究。由于数据集仅提供测试集，建议研究者将其划分为验证集与测试集，或与其他训练数据联合使用，以充分发挥其在迁移学习与零样本评估中的价值。

背景与挑战

背景概述

在电子商务搜索与推荐领域，如何精准理解用户查询意图并匹配相关商品，一直是信息检索研究的核心难题。ESCI数据集由亚马逊研究团队于2022年创建，旨在推动多语言、多模态商品搜索的评估与改进。该数据集覆盖英语、西班牙语和日语三种语言，包含超过65万条查询-商品对，每条样本标注了精确匹配（Exact）、替代匹配（Substitute）、互补匹配（Complement）或不相关（Irrelevant）四类标签，为细粒度商品相关性判断提供了标准化基准。其发布填补了跨语言电商检索评测的空白，尤其对多语言自然语言处理与信息检索交叉领域产生了深远影响，成为评估模型泛化能力与跨文化商品理解的重要资源。

当前挑战

ESCI数据集面临的核心挑战首先在于多语言场景下的语义歧义与细粒度标签界定。例如，不同语言中同一商品表述的差异可能导致标签不一致，而“替代”与“互补”两类标签的边界模糊性增加了模型训练难度。其次，构建过程中需处理大规模商品文本的噪声问题，包括描述缺失、品牌拼写错误及多语言翻译偏差，这对数据清洗与标注一致性提出了严苛要求。此外，数据集仅包含测试集，缺乏训练与验证划分，限制了其在监督学习中的直接应用，研究者需自行构建训练数据或依赖迁移学习策略，进一步增加了模型泛化评估的复杂性。

常用场景

经典使用场景

在电子商务检索与匹配的研究领域中，ESCI数据集凭借其精细的四级标签体系（Exact、Substitute、Complement、Irrelevant），成为评估和训练商品搜索模型的标准基准。该数据集包含英语、西班牙语和日语三种语言环境的查询-商品对，每个样本都配备了详细的商品标题、描述、要点、品牌和颜色等多维文本信息。研究者通常利用这些丰富的文本字段构建跨模态的语义匹配模型，通过对比学习和排序学习等方法，提升搜索系统对用户意图的精准理解能力。

衍生相关工作

ESCI数据集催生了一系列重要的研究工作，包括基于对比学习的多语言商品检索模型、融合商品属性信息的细粒度相关性排序算法，以及利用该数据集进行零样本跨语言迁移学习的探索。此外，研究者还开发了基于ESCI标签体系的商品知识图谱构建方法，通过挖掘替代和互补关系增强推荐系统的可解释性。这些衍生工作不仅推动了信息检索领域的技术进步，也为工业界部署智能搜索系统提供了可靠的理论支撑。

数据集最近研究

最新研究方向

在电商搜索与推荐系统的前沿探索中，ESCI数据集凭借其多语言（英语、西班牙语、日语）及细粒度的匹配度标注（精确匹配、替代品、互补品、不相关），正成为推动跨语言产品检索与语义理解研究的关键基石。当前，该领域的研究热点聚焦于利用大规模预训练模型对查询与商品标题、描述及属性文本进行深度语义对齐，以突破传统关键词匹配的局限。结合近期电商平台对多语言用户体验优化的迫切需求，ESCI数据集为评估模型在不同语言和产品类别下的泛化能力提供了标准化测试平台，其影响力已延伸至信息检索领域的基准测试革新，有效促进了更精准、更鲁棒的跨语言产品搜索技术的迭代与发展。