pietrolesci/agnews

该数据集与`ag_news`数据集相同，但增加了唯一标识符（uid）和三个不同的句子嵌入模型（all-mpnet-base-v2、multi-qa-mpnet-base-dot-v1、all-MiniLM-L12-v2）的嵌入向量。此外，`label`列被重命名为`labels`以便与transformers库更好地兼容。数据集的特征包括文本、标签和唯一标识符，任务类别是文本分类，语言为英语，规模在10万到100万之间。

This dataset is identical to the `ag_news` dataset, with the addition of a unique identifier (uid) and embedding vectors generated by three distinct sentence embedding models: all-mpnet-base-v2, multi-qa-mpnet-base-dot-v1, and all-MiniLM-L12-v2. Additionally, the `label` column has been renamed to `labels` to ensure better compatibility with the `transformers` library. The dataset's features include text, labels, and the unique identifier. Its task category is text classification, the language is English, and its scale ranges from 100,000 to 1,000,000 samples.

原始信息汇总

数据集配置

默认配置

• 配置名称: default
• 数据文件路径:
  • 训练集: data/train-*
  • 测试集: data/test-*
• 特征:
  • text: 字符串类型
  • labels: 类别标签，包含以下类别:
    • 0: World
    • 1: Sports
    • 2: Business
    • 3: Sci/Tech
  • uid: 64位整数类型
• 数据分割:
  • 训练集: 30777303 字节, 120000 样本
  • 测试集: 1940274 字节, 7600 样本
• 下载大小: 20531429 字节
• 数据集大小: 32717577 字节

嵌入配置 - all-MiniLM-L12-v2

• 配置名称: embedding_all-MiniLM-L12-v2
• 数据文件路径:
  • 训练集: embedding_all-MiniLM-L12-v2/train-*
  • 测试集: embedding_all-MiniLM-L12-v2/test-*
• 特征:
  • uid: 64位整数类型
  • embedding_all-MiniLM-L12-v2: 浮点数序列
• 数据分割:
  • 训练集: 185760000 字节, 120000 样本
  • 测试集: 11764800 字节, 7600 样本
• 下载大小: 276467219 字节
• 数据集大小: 197524800 字节

嵌入配置 - all-mpnet-base-v2

• 配置名称: embedding_all-mpnet-base-v2
• 数据文件路径:
  • 训练集: embedding_all-mpnet-base-v2/train-*
  • 测试集: embedding_all-mpnet-base-v2/test-*
• 特征:
  • uid: 64位整数类型
  • embedding_all-mpnet-base-v2: 浮点数序列
• 数据分割:
  • 训练集: 370080000 字节, 120000 样本
  • 测试集: 23438400 字节, 7600 样本
• 下载大小: 472647323 字节
• 数据集大小: 393518400 字节

嵌入配置 - multi-qa-mpnet-base-dot-v1

• 配置名称: embedding_multi-qa-mpnet-base-dot-v1
• 数据文件路径:
  • 训练集: embedding_multi-qa-mpnet-base-dot-v1/train-*
  • 测试集: embedding_multi-qa-mpnet-base-dot-v1/test-*
• 特征:
  • uid: 64位整数类型
  • embedding_multi-qa-mpnet-base-dot-v1: 浮点数序列
• 数据分割:
  • 训练集: 370080000 字节, 120000 样本
  • 测试集: 23438400 字节, 7600 样本
• 下载大小: 472640830 字节
• 数据集大小: 393518400 字节

任务类别

• 文本分类

语言

• 英语

数据集大小类别

• 100K<n<1M

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，文本分类任务常依赖于高质量标注数据集。AG News数据集作为新闻文本分类的基准资源，其构建过程体现了严谨的数据工程方法。该数据集源自新闻文章，通过自动化采集与人工筛选相结合的方式，从多个新闻源中提取文本内容，并依据领域知识划分为四大类别：世界新闻、体育、商业以及科技。每个样本均经过标准化处理，确保文本格式统一，同时为每篇文章分配唯一标识符，便于后续的数据追踪与管理。

特点

AG News数据集以其规模适中与类别平衡著称，共包含12.7万条训练样本与7600条测试样本，覆盖了新闻领域的核心主题。其独特之处在于不仅提供了原始文本与类别标签，还集成了多种预训练语言模型的嵌入表示，如all-mpnet-base-v2与all-MiniLM-L12-v2等，这些嵌入向量可直接用于迁移学习或特征提取。数据集的类别分布均匀，避免了偏斜问题，同时文本内容简洁明了，聚焦于新闻标题与摘要，适合快速模型训练与评估。

使用方法

该数据集适用于文本分类模型的训练与验证，用户可通过HuggingFace平台直接加载，支持多种配置选项。对于基础应用，可选择默认配置获取文本与标签；若需利用预计算嵌入，则可选用embedding开头的配置，直接调用已生成的向量表示，从而节省计算资源。数据集兼容主流机器学习库，如Transformers，其标签列命名为labels，便于无缝集成到训练流程中。研究人员可借此进行主动学习、模型比较或嵌入分析等实验。

背景与挑战

背景概述

在自然语言处理领域，文本分类作为基础任务之一，其性能高度依赖于大规模、高质量标注数据集的支持。AG News数据集作为新闻文本分类的经典基准，最初由学术研究人员为评估机器学习模型在新闻主题分类上的效能而构建。该数据集收录了来自新闻网站的英文文章，涵盖世界、体育、商业、科技四大类别，自问世以来便成为文本分类、主题建模及预训练语言模型微调的重要资源。在2024年，研究人员Pietrolesci等人基于原始AG News数据集进行了扩展，不仅为每个样本添加了唯一标识符，还集成了多种预训练句子嵌入表示，旨在为主动学习等前沿研究提供更丰富的特征支持，从而推动大规模不平衡数据场景下的算法创新。

当前挑战

AG News数据集所针对的文本分类任务，面临新闻文本语义多样性高、类别边界模糊等固有挑战，模型需准确捕捉细微的语境差异以区分相似主题。在数据集构建过程中，原始数据的采集与清洗需克服新闻来源异构、噪声信息过滤以及类别平衡性维护等难题。此外，本次扩展版本在集成多类句子嵌入时，需确保嵌入向量的质量与一致性，同时处理大规模嵌入数据带来的存储与计算效率问题，这些挑战共同构成了该数据集在推动高效主动学习方法研究中的关键瓶颈。

常用场景

经典使用场景

在自然语言处理领域，文本分类作为基础任务之一，其性能评估常依赖于高质量且规模适中的数据集。AG News数据集以其清晰的类别划分和均衡的样本分布，成为文本分类模型训练与验证的经典基准。该数据集涵盖世界新闻、体育、商业和科技四大类别，每条数据由新闻标题和摘要组成，为模型提供了丰富的语义信息。研究者通常利用其训练集进行模型参数优化，并在测试集上评估分类准确率、召回率等关键指标，从而系统比较不同算法在新闻文本分类任务上的表现。

实际应用

超越学术研究，AG News数据集在产业界同样展现出重要价值。其构建的新闻分类模型可直接应用于新闻聚合平台，实现内容的自动归类与个性化推荐，极大提升了信息分发的效率与精准度。在舆情监控系统中，此类模型能够快速识别并追踪特定领域的新闻报道趋势，为商业决策与公共管理提供数据支持。此外，基于该数据集训练的模型也可作为下游任务，如情感分析或事件检测的预训练基础，体现了其作为通用语言理解基石的实用意义。

衍生相关工作

围绕AG News数据集，学术界催生了一系列具有影响力的研究工作。其作为标准基准，频繁出现在各类文本分类模型的性能对比报告中，例如在BERT、RoBERTa等预训练模型的微调实验中。专门针对该数据集提出的主动学习策略，如AnchorAL方法，旨在解决大规模不平衡数据下的高效标注问题。此外，许多研究利用其探讨数据增强技术、对抗性训练以及模型可解释性，这些衍生工作共同推动了文本分类技术向更高效、更鲁棒的方向演进。