amazon-reviews-2023-with-asin

Amazon Reviews 2023 (with ASIN) 是一个为自然语言处理（NLP）任务优化的超大规模亚马逊产品评论数据集。它基于 McAuley-Lab/Amazon-Reviews-2023 原始数据集，经过精简和标准化处理，移除了与核心NLP任务关联度较低的多余字段，仅保留四个关键字段：`rating`（1.0至5.0的浮点数评分）、`title`（评论标题）、`text`（评论文本正文）以及新增的 `parent_asin`（父产品ID）。`parent_asin` 用于唯一标识和分组同一产品的不同变体（如颜色或尺寸），支持产品级分析。数据集以标准的Parquet格式存储，可通过HuggingFace `datasets` 库直接加载，无需特殊脚本。数据覆盖亚马逊34个主要产品类别，包括电子产品、家居厨房、图书、服装鞋履等，总计包含约5.71亿条英文评论。适用于多种NLP研究和应用，例如基于 `parent_asin` 和评论文本的产品分类、基于评论标题和正文的情感分析或评分预测、利用产品标识符构建推荐系统、产品评论文本摘要生成与评估，以及作为大规模英文文本语料库用于通用NLP研究。

Amazon Reviews 2023 (with ASIN) is an ultra-large-scale Amazon product review dataset optimized for natural language processing (NLP) tasks. It is derived from the original McAuley-Lab/Amazon-Reviews-2023 dataset but has been streamlined and standardized. This version removes redundant fields less relevant to core NLP tasks, retaining only four key fields: `rating` (a floating-point score from 1.0 to 5.0), `title` (review title), `text` (review text body), and the newly added `parent_asin` (parent product ID). `parent_asin` is a crucial field used to uniquely identify and group variants of the same product (e.g., different colors or sizes), addressing the needs of product-level analysis. The dataset is stored in the standard Parquet format and can be directly loaded via the HuggingFace `datasets` library without special loading scripts. It covers 34 major Amazon product categories, including electronics, home and kitchen, books, clothing and shoes, etc., totaling approximately 571 million English reviews. The dataset is suitable for various NLP research and applications, such as product classification based on `parent_asin` and review text, sentiment analysis or rating prediction based on review titles and text, building recommendation systems using product identifiers, product review text summarization and evaluation, and serving as a large-scale English text corpus for general NLP research.

原始信息汇总

数据集概述

Amazon Reviews 2023 (with ASIN) 是 McAuley-Lab/Amazon-Reviews-2023 的精简版本，专注于 NLP 任务，并通过 parent_asin 字段提供明确的产品标识。

与原版的区别

• 仅保留 4 个字段：rating、title、text 和 parent_asin。
• 采用标准 Parquet 格式存储，无需加载脚本。
• 可直接使用 load_dataset 加载。

数据结构

每条记录包含以下字段：

字段	类型	描述
rating	float32	产品评分，范围 1.0 至 5.0
title	string	用户评论标题
text	string	用户评论全文
parent_asin	string	父产品 ID，用于产品级别分组与识别

注意：不同颜色、尺寸或款式的产品通常共享相同的 parent_asin，该字段适用于产品级分组。

数据规模

共约 5.71 亿条评论，涵盖 34 个类别，其中主要类别包括：

类别	评论数量
All_Beauty	701.5K
Amazon_Fashion	2.5M
Appliances	2.1M
Arts_Crafts_and_Sewing	9.0M
Automotive	20.0M
Baby_Products	6.0M
Beauty_and_Personal_Care	23.9M
Books	29.5M
CDs_and_Vinyl	4.8M
Cell_Phones_and_Accessories	20.8M
Clothing_Shoes_and_Jewelry	66.0M
Digital_Music	130.4K
Electronics	43.9M
Gift_Cards	152.4K
Grocery_and_Gourmet_Food	14.3M
Handmade_Products	664.2K
Health_and_Household	25.6M
Health_and_Personal_Care	494.1K
Home_and_Kitchen	67.4M
Industrial_and_Scientific	5.2M
Kindle_Store	25.6M
Magazine_Subscriptions	71.5K
Movies_and_TV	17.3M
Musical_Instruments	3.0M
Office_Products	12.8M
Patio_Lawn_and_Garden	16.5M
Pet_Supplies	16.8M
Software	4.9M
Sports_and_Outdoors	19.6M
Subscription_Boxes	16.2K
Tools_and_Home_Improvement	27.0M
Toys_and_Games	16.3M
Video_Games	4.6M
Unknown	63.8M

加载方式

python from datasets import load_dataset

加载特定类别

dataset = load_dataset("BarbaDLuca/amazon-reviews-2023-with-asin", data_dir="Electronics", split="train")

加载所有类别

dataset = load_dataset("BarbaDLuca/amazon-reviews-2023-with-asin", split="train")

预期用途

• 产品分类：利用 parent_asin 和评论文本进行产品分组与分类。
• 情感分析：根据评论标题和文本预测评分或情感倾向。
• 推荐系统：基于产品标识构建基于物品或用户-物品的模型。
• 摘要生成：为每个产品生成或评估评论摘要。
• 通用 NLP 研究：大规模英文文本语料库，带有结构化元数据。

参考文献

该数据集源自 McAuley Lab (UCSD) 的 Amazon Reviews 2023 数据集，引用请使用：

bibtex @article{hou2024bridging, title={Bridging Language and Items for Retrieval and Recommendation}, author={Hou, Yupeng and Li, Jiacheng and He, Zhankui and Yan, An and Chen, Xiusi and McAuley, Julian}, journal={arXiv preprint arXiv:2403.03952}, year={2024} }

搜集汇总

数据集介绍

构建方式

该数据集源自McAuley实验室发布的Amazon-Reviews-2023原始版本，经精简与重构而成。原始数据每条评论包含十余个字段，并依赖已不再受HuggingFace支持的遗留加载脚本。本数据集仅保留与自然语言处理任务最为相关的四个核心字段：评分、评论标题、评论文本以及商品父级标识符，并采用标准Parquet格式存储。用户无需额外加载脚本，即可直接通过HuggingFace的load_dataset函数加载指定类别或全部类别的数据，极大简化了调用流程。

特点

本数据集涵盖34个商品类别，包含约5.71亿条评论，规模宏大且领域广泛。每条记录保留的parent_asin字段用于标识不同颜色、尺寸或款式的同一商品系列，为商品级别的归并与分析提供了精确依据。精简后的四字段结构直指评分预测、情感分析、文本摘要及推荐系统等核心NLP任务，兼具高可用性与针对性，是科研与工业应用中的优质语料资源。

使用方法

用户可通过HuggingFace的datasets库便捷加载使用。加载时指定data_dir参数可选取特定商品类别，例如仅加载Electronics类评论；若不指定，则默认加载全部类别。每条记录包含评分（1.0至5.0浮点数）、评论标题与正文（字符串类型）及parent_asin（字符串类型）四个字段。该数据集适用于商品分类、情感极性预测、基于商品标识的推荐系统构建、评论摘要生成以及大规模英文文本语料支持的NLP研究，使用方式灵活多样。

背景与挑战

背景概述

亚马逊评论数据集（Amazon Reviews 2023）是由加州大学圣地亚哥分校McAuley实验室于2023年创建的大规模用户评论语料库，旨在推动自然语言处理与推荐系统领域的前沿研究。该数据集汇集了涵盖33个商品类别的约5.71亿条英文评论，每一条记录包含评分、标题、正文及产品标识符等关键字段。作为电子商务领域最全面的公开评论资源之一，它已被广泛应用于产品分类、情感分析、摘要生成以及基于内容的推荐任务，对理解用户行为与优化商业智能产生了深远影响。

当前挑战

该数据集所解决的领域挑战在于，传统推荐系统与情感分析模型常因缺乏细粒度、跨领域的用户反馈数据而难以泛化至真实电商场景，而本数据集通过提供海量、多品类且附带明确产品标识的评论文本，为训练鲁棒的NLP模型奠定了坚实基础。在构建过程中，原始数据集包含10余个冗余字段并依赖过时的加载脚本，导致兼容性与易用性受限；本版本通过精简为四个核心字段并采用标准Parquet格式存储，显著降低了数据加载与预处理的门槛，但海量数据的分布式处理及跨类别的一致性维护仍是持续面临的工程挑战。

常用场景

经典使用场景

该数据集精简自McAuley实验室发布的Amazon Reviews 2023全量语料，保留了评分、标题、评论文本与产品标识符四个关键字段，并以标准Parquet格式封装，免去繁琐的加载脚本依赖。其最经典的应用场景包括情感分析、产品分类与摘要生成：研究者可直接利用评论文本与评分间的映射关系，训练判别式或生成式模型来捕捉用户情感倾向；同时，通过parent_asin字段可聚合同一产品的多维度评价，进而构建产品级细粒度分类器；此外，丰富的评论文本为跨类别摘要任务提供了海量素材，能够支撑面向不同领域（如电子产品、图书、服饰等）的摘要生成与评估基准。

衍生相关工作

该数据集衍生出一系列具有学术影响力的前沿工作。在表示学习方面，研究者利用其海量产品-评论对，训练出领域自适应的词嵌入模型或预训练语言模型，如基于Amazon评论微调的RoBERTa变体，显著提升了电商文本的多任务性能。在推荐系统研究中，基于parent_asin构建的产品图结构打破了传统用户-物品矩阵的稀疏性限制，催生了如AGNNRec、BERT4Rec等融合评论语义的神经推荐算法。同时，该数据直接启发了多模态检索任务，如结合文本描述与视觉特征的跨模态搜索引擎。此外，针对文本摘要领域的挑战，有学者利用其构建了首个大规模产品级摘要基准数据集AmazonSum，推动了抽取式与生成式摘要方法的对比与创新。

数据集最近研究

最新研究方向

在自然语言处理与电子商务的交叉前沿中，amazon-reviews-2023-with-asin数据集凭借其精简结构（保留rating、title、text及parent_asin）与超5.7亿条评论的庞大规模，正成为多模态商品理解、细粒度情感演化与跨域推荐系统的基石。尤其随着以parent_asin为核心的商品级映射能力被深度挖掘，研究者能够将非结构化的用户反馈直接对齐至真实产品实体，从而驱动基于文本的商品聚类与零样本分类技术突破。这一方向紧密关联2024年McAuley团队提出的“语言与物品桥接”范式，该数据集正赋能大规模预训练模型在电商场景下实现从评论文本到商品表征的语义对齐，为生成式推荐、弱监督标签传播及用户意图感知的摘要生成提供了前所未有的数据基础设施，进而深刻重塑了工业级搜索与推荐系统的演进轨迹。