thepian/amazon-esci-data

---
dataset_info:
- config_name: products
features:
- name: product_id
dtype: string
- name: product_title
dtype: string
- name: product_description
dtype: string
- name: product_bullet_point
dtype: string
- name: product_brand
dtype: string
- name: product_color
dtype: string
- name: product_locale
dtype: string
- name: split
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 1650407845
num_examples: 1371823
- name: test
num_bytes: 537176847
num_examples: 443101
download_size: 1149707182
dataset_size: 2187584692
- config_name: queries
features:
- name: example_id
dtype: int64
- name: query
dtype: string
- name: query_id
dtype: int64
- name: product_id
dtype: string
- name: product_locale
dtype: string
- name: esci_label
dtype: string
- name: small_version
dtype: int64
- name: large_version
dtype: int64
- name: split
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 198670365
num_examples: 1983272
- name: test
num_bytes: 63544917
num_examples: 638016
download_size: 63596052
dataset_size: 262215282
- config_name: sources
features:
- name: query_id
dtype: int64
- name: source
dtype: string
- name: split
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 3458419
num_examples: 99683
- name: test
num_bytes: 1048200
num_examples: 30969
download_size: 1510331
dataset_size: 4506619
configs:
- config_name: products
data_files:
- split: train
path: products/train-*
- split: test
path: products/test-*
- config_name: queries
data_files:
- split: train
path: queries/train-*
- split: test
path: queries/test-*
- config_name: sources
data_files:
- split: train
path: sources/train-*
- split: test
path: sources/test-*
license: apache-2.0
task_categories:
- text-classification
- token-classification
- text-generation
- sentence-similarity
language:
- en
- ja
- es
tags:
- amazon
- retrieval
- search
- ecommerce
- ranking
- reranking
size_categories:
- 1M<n<10M
---

# Amazon Shopping Queries Dataset

Dataset for improving product search, ranking and recommendations, featuring query-product pairs with detailed relevance labels.

## Overview
The dataset contains search queries paired with up to 40 potentially relevant products, each labeled using the ESCI system:
- **E**xact match: Products that perfectly match the customer's search intent (e.g., searching "iPhone 13" and finding "Apple iPhone 13 128GB")
- **S**ubstitute product: Alternative products that could satisfy the same need (e.g., searching "iPhone 13" and finding "iPhone 14" or "Samsung Galaxy S23")
- **C**omplement product: Products commonly bought together with the searched item (e.g., searching "iPhone 13" and finding "iPhone 13 case" or "screen protector")
- **I**rrelevant result: Products that don't match the customer's search intent (e.g., searching "iPhone 13" and finding "laptop charger")

## Dataset Statistics
### Reduced Version (Task 1)
- 48,300 unique queries
- 1,118,011 query-product pairs
- **Focus**: Filtered to exclude "easy" queries, making it more challenging
- Language distribution:
- English (US): 29,844 queries
- Spanish (ES): 8,049 queries
- Japanese (JP): 10,407 queries

### Full Version (Tasks 2 & 3)
- 130,652 unique queries
- 2,621,738 query-product pairs
- **Focus**: Includes both easy and challenging queries
- Language distribution:
- English (US): 97,345 queries
- Spanish (ES): 15,180 queries
- Japanese (JP): 18,127 queries

## Features
- Rich product metadata including:
- Product title
- Product description
- Product bullet points
- Brand information
- Color information
- Multilingual support (English, Japanese, Spanish)
- Train/test splits for each task

## Download
Install `datasets` library:
```bash
pip install datasets
```
Donwload files:
```python
from datasets import load_dataset

queries = load_dataset(path="milistu/amazon-esci-data", name="queries", split=["train", "test"])
products = load_dataset(path="milistu/amazon-esci-data", name="products", split=["train", "test"])
sources = load_dataset(path="milistu/amazon-esci-data", name="sources", split=["train", "test"])
```

## Use Cases
1. **Product Ranking**: Develop algorithms to rank relevant products higher in search results
2. **Relevance Classification**: Build models to classify products as Exact, Substitute, Complement, or Irrelevant
3. **Substitute Detection**: Identify substitute products for improved product recommendations
4. **Semantic Search**: Train embedding models (like BERT, sentence-transformers) to:
- Capture semantic similarity between queries and products
- Handle long-tail queries with no exact keyword matches
- Understand product relationships across categories
- Example: Query "comfortable running shoes for marathon" can match with "Nike Air Zoom Alphafly" even without exact keyword overlap

## Citation
Originally sourced from ["Shopping Queries Dataset: A Large-Scale ESCI Benchmark for Improving Product Search"](https://github.com/amazon-science/esci-data?tab=readme-ov-file), this version is optimized for machine learning applications and semantic search research.
```
@article{reddy2022shopping,
title={Shopping Queries Dataset: A Large-Scale {ESCI} Benchmark for Improving Product Search},
author={Chandan K. Reddy and Lluís Màrquez and Fran Valero and Nikhil Rao and Hugo Zaragoza and Sambaran Bandyopadhyay and Arnab Biswas and Anlu Xing and Karthik Subbian},
year={2022},
eprint={2206.06588},
archivePrefix={arXiv}
}
```

dataset_info:
- 配置名称：products（products）
特征：
- 字段名：产品ID（product_id），数据类型：字符串
- 字段名：产品标题（product_title），数据类型：字符串
- 字段名：产品描述（product_description），数据类型：字符串
- 字段名：产品要点说明（product_bullet_point），数据类型：字符串
- 字段名：产品品牌（product_brand），数据类型：字符串
- 字段名：产品颜色（product_color），数据类型：字符串
- 字段名：产品语言区域（product_locale），数据类型：字符串
- 字段名：划分（split），数据类型：字符串
- 字段名：__index_level_0__，数据类型：整数（int64）
划分：
- 划分名称：train，字节数：1650407845，样本数：1371823
- 划分名称：test，字节数：537176847，样本数：443101
下载大小：1149707182，数据集总大小：2187584692
- 配置名称：queries（queries）
特征：
- 字段名：示例ID（example_id），数据类型：整数（int64）
- 字段名：查询（query），数据类型：字符串
- 字段名：查询ID（query_id），数据类型：整数（int64）
- 字段名：产品ID（product_id），数据类型：字符串
- 字段名：产品语言区域（product_locale），数据类型：字符串
- 字段名：ESCI标注标签（esci_label），数据类型：字符串
- 字段名：小版本（small_version），数据类型：整数（int64）
- 字段名：大版本（large_version），数据类型：整数（int64）
- 字段名：划分（split），数据类型：字符串
- 字段名：__index_level_0__，数据类型：整数（int64）
划分：
- 划分名称：train，字节数：198670365，样本数：1983272
- 划分名称：test，字节数：63544917，样本数：638016
下载大小：63596052，数据集总大小：262215282
- 配置名称：sources（sources）
特征：
- 字段名：查询ID（query_id），数据类型：整数（int64）
- 字段名：来源（source），数据类型：字符串
- 字段名：划分（split），数据类型：字符串
- 字段名：__index_level_0__，数据类型：整数（int64）
划分：
- 划分名称：train，字节数：3458419，样本数：99683
- 划分名称：test，字节数：1048200，样本数：30969
下载大小：1510331，数据集总大小：4506619
configs:
- 配置名称：products，数据文件：
- 划分：train，路径：products/train-*
- 划分：test，路径：products/test-*
- 配置名称：queries，数据文件：
- 划分：train，路径：queries/train-*
- 划分：test，路径：queries/test-*
- 配置名称：sources，数据文件：
- 划分：train，路径：sources/train-*
- 划分：test，路径：sources/test-*
许可证：Apache-2.0
任务类别：
- 文本分类（text-classification）
- 令牌（Token）分类（token-classification）
- 文本生成（text-generation）
- 句子相似度（sentence-similarity）
语言：
- 英语（en）
- 日语（ja）
- 西班牙语（es）
标签：
- 亚马逊（amazon）
- 检索（retrieval）
- 搜索（search）
- 电子商务（ecommerce）
- 排序（ranking）
- 重排序（reranking）
样本规模类别：
- 1M<n<10M

# 亚马逊购物查询数据集（Amazon Shopping Queries Dataset）

用于优化产品搜索、排序与推荐的数据集，包含带有精准相关性标签的查询-产品对。

## 概述
本数据集包含搜索查询与至多40个潜在相关产品的配对数据，所有产品均采用ESCI（精确匹配、替代产品、配套产品、无关结果）标注系统：
- **精确匹配（Exact match）**：完全契合用户搜索意图的产品（例如搜索“iPhone 13”时匹配到“Apple iPhone 13 128GB”）
- **替代产品（Substitute product）**：可满足相同需求的替代产品（例如搜索“iPhone 13”时匹配到“iPhone 14”或“Samsung Galaxy S23”）
- **配套产品（Complement product）**：与搜索商品常被一同购买的产品（例如搜索“iPhone 13”时匹配到“iPhone 13 手机壳”或“屏幕保护膜”）
- **无关结果（Irrelevant result）**：不符合用户搜索意图的产品（例如搜索“iPhone 13”时匹配到“笔记本充电器”）

## 数据集统计
### 精简版（任务1）
- 48300个唯一查询
- 1118011个查询-产品对
- **核心特性**：过滤掉了“简单”查询，提升了任务挑战性
- 语言分布：
- 美式英语：29844个查询
- 西班牙语：8049个查询
- 日语：10407个查询

### 完整版（任务2与3）
- 130652个唯一查询
- 2621738个查询-产品对
- **核心特性**：包含简单与挑战性两类查询
- 语言分布：
- 美式英语：97345个查询
- 西班牙语：15180个查询
- 日语：18127个查询

## 特性
- 丰富的产品元数据，包括：
- 产品标题
- 产品描述
- 产品要点说明
- 品牌信息
- 颜色信息
- 多语言支持（英语、日语、西班牙语）
- 各任务均配有训练集与测试集划分

## 下载
安装`datasets`库：
bash
pip install datasets

下载文件：
python
from datasets import load_dataset

queries = load_dataset(path="milistu/amazon-esci-data", name="queries", split=["train", "test"])
products = load_dataset(path="milistu/amazon-esci-data", name="products", split=["train", "test"])
sources = load_dataset(path="milistu/amazon-esci-data", name="sources", split=["train", "test"])

## 应用场景
1. **产品排序**：开发算法以将相关产品在搜索结果中排序靠前
2. **相关性分类**：构建模型将产品划分为精确匹配、替代、配套或无关类别
3. **替代产品检测**：识别替代产品以优化产品推荐效果
4. **语义搜索**：训练嵌入模型（如BERT、句子转换器（sentence-transformers））以：
- 捕捉查询与产品间的语义相似度
- 处理无精确关键词匹配的长尾查询
- 理解跨类别的产品关联关系
- 示例：搜索“马拉松专用舒适跑鞋”可匹配到“Nike Air Zoom Alphafly”，即便二者无完全重合的关键词

## 引用
本数据集最初源自《Shopping Queries Dataset: A Large-Scale ESCI Benchmark for Improving Product Search》，本版本针对机器学习应用与语义搜索研究进行了优化。

@article{reddy2022shopping,
title={Shopping Queries Dataset: A Large-Scale {ESCI} Benchmark for Improving Product Search},
author={Chandan K. Reddy and Lluís Màrquez and Fran Valero and Nikhil Rao and Hugo Zaragoza and Sambaran Bandyopadhyay and Arnab Biswas and Anlu Xing and Karthik Subbian},
year={2022},
eprint={2206.06588},
archivePrefix={arXiv}
}