有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
fancyzhx/ag_news|文本分类数据集|新闻主题分类数据集
收藏hugging_face2024-03-07 更新2024-05-25 收录
下载链接：
https://hf-mirror.com/datasets/fancyzhx/ag_news
下载链接
链接失效反馈资源简介：
AG新闻语料库是一个包含超过100万条新闻文章的数据集，这些文章来源于2000多个新闻源，由学术新闻搜索引擎ComeToMyHead收集。该数据集由Xiang Zhang等人构建，用于文本分类基准测试，并在NIPS 2015会议上发表的论文中有所描述。数据集包含训练集和测试集，分别有120,000和7,600个样本。每个样本包含文本和标签，标签分为四类：世界、体育、商业和科技。
提供机构：
fancyzhx
原始信息汇总
数据集概述
- 名称: AG’s News Corpus
- 别名: ag_news
- ID: ag-news
- 语言: 英语 (en)
- 许可证: 未知
- 多语言性: 单语
- 大小: 100K<n<1M
- 来源: 原始数据
- 任务类别: 文本分类
- 任务ID: 主题分类
数据集结构
数据字段
- text: 字符串类型，文本内容。
- label: 分类标签，包括 World (0), Sports (1), Business (2), Sci/Tech (3)。
数据分割
- 训练集: 120000个样本
- 测试集: 7600个样本
评估指标
- 准确率 (Accuracy)
- F1 宏平均 (F1 macro)
- F1 微平均 (F1 micro)
- F1 加权平均 (F1 weighted)
- 精确率 宏平均 (Precision macro)
- 精确率 微平均 (Precision micro)
- 精确率 加权平均 (Precision weighted)
- 召回率 宏平均 (Recall macro)
- 召回率 微平均 (Recall micro)
- 召回率 加权平均 (Recall weighted)
AI搜集汇总
数据集介绍
构建方式
AG’s News Corpus数据集是由超过2000个新闻源中收集的超过100万篇新闻文章构成，这些文章由ComeToMyHead学术新闻搜索引擎在一年多的活动中搜集。数据集经过筛选和标注，形成了包含四个主题分类（世界、体育、商业、科技）的文本分类基准数据集。
特点
该数据集具有以下特点：一是数据量大，二是主题分类明确，三是文本来源多样，涵盖了不同领域的新闻内容，适合用于文本分类、信息检索、自然语言处理等研究。此外，数据集的构建旨在服务于学术研究，不含有个人敏感信息。
使用方法
使用该数据集时，用户可以根据自己的需求选择训练集和测试集。数据集以JSON格式存储，每个实例包含文本内容和对应的分类标签。用户可以采用Python等编程语言进行数据加载和预处理，进而应用机器学习模型进行文本分类任务，如使用卷积神经网络等深度学习方法。
背景与挑战
背景概述
AG’s News Corpus（AG新闻语料库）是一组由超过一百万篇新闻文章组成的文本数据集。这些新闻文章源自2000多个新闻来源，由ComeToMyHead学术新闻搜索引擎在一年多的时间里搜集而成。该搜索引擎自2004年7月起运行。该数据集由学术社区提供，主要用于数据挖掘（聚类、分类等）、信息检索（排名、搜索等）、XML、数据压缩、数据流等领域的研究。特别地，Xiang Zhang等人基于此数据集构建了AG新闻主题分类数据集，并在2015年的NIPS会议上发表了相关论文，该数据集成为了文本分类研究的基准数据集。
当前挑战
该数据集在构建和应用过程中面临的挑战包括：确保收集的新闻文章在主题分类上的广泛性和代表性；在数据标注过程中，保证标注质量的一致性和准确性；此外，由于数据集规模庞大，如何有效地进行数据压缩和存储也是一个挑战。在研究领域问题方面，AG新闻数据集解决的领域问题是文本分类，尤其是新闻文本的多类别分类问题。构建过程中的挑战还包括如何处理可能存在的数据偏差，以及如何确保数据的使用不会引发隐私和安全问题。
常用场景
经典使用场景
在文本分类研究领域，AG’s News Corpus数据集被广泛作为基准数据集使用。其包含了超过一百万篇新闻文章，涵盖世界、体育、商业和科技四大主题类别。该数据集的经典使用场景在于评估和比较不同文本分类模型的性能，尤其是字符级卷积网络在文本分类任务中的应用。
实际应用
在实际应用中，AG’s News Corpus数据集可被用于构建新闻聚合系统、智能推荐系统和内容审核系统。这些系统能够根据用户的兴趣和阅读习惯，自动分类和推送相关新闻内容，提高用户体验和信息获取的效率。
衍生相关工作
基于AG’s News Corpus数据集，已经衍生出许多经典工作，如Xiang Zhang等人提出的字符级卷积网络在文本分类中的应用，该工作在NIPS 2015上发表，并成为后续许多研究的基石。此外，该数据集也激发了关于文本表示、特征提取和模型优化等多个方面的研究探索。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国气象数据
本数据集包含了中国2023年1月至11月的气象数据，包括日照时间、降雨量、温度、风速等关键数据。通过这些数据，可以深入了解气象现象对不同地区的影响，并通过可视化工具揭示中国的气温分布、降水情况、风速趋势等。
github 收录
MultiTalk
MultiTalk数据集是由韩国科学技术院创建，包含超过420小时的2D视频，涵盖20种不同语言，旨在解决多语言环境下3D说话头生成的问题。该数据集通过自动化管道从YouTube收集，每段视频都配有语言标签和伪转录，部分视频还包含伪3D网格顶点。数据集的创建过程包括视频收集、主动说话者验证和正面人脸验证，确保数据质量。MultiTalk数据集的应用领域主要集中在提升多语言3D说话头生成的准确性和表现力，通过引入语言特定风格嵌入，使模型能够捕捉每种语言独特的嘴部运动。
arXiv 收录
UniProt
UniProt（Universal Protein Resource）是全球公认的蛋白质序列与功能信息权威数据库，由欧洲生物信息学研究所（EBI）、瑞士生物信息学研究所（SIB）和美国蛋白质信息资源中心（PIR）联合运营。该数据库以其广度和深度兼备的蛋白质信息资源闻名，整合了实验验证的高质量数据与大规模预测的自动注释内容，涵盖从分子序列、结构到功能的全面信息。UniProt核心包括注释详尽的UniProtKB知识库（分为人工校验的Swiss-Prot和自动生成的TrEMBL），以及支持高效序列聚类分析的UniRef和全局蛋白质序列归档的UniParc。其卓越的数据质量和多样化的检索工具，为基础研究和药物研发提供了无可替代的支持，成为生物学研究中不可或缺的资源。
www.uniprot.org 收录
OMIM (Online Mendelian Inheritance in Man)
OMIM是一个包含人类基因和遗传疾病信息的在线数据库。它提供了详细的遗传疾病描述、基因定位、相关文献和临床信息。数据集内容包括疾病名称、基因名称、基因定位、遗传模式、临床特征、相关文献引用等。
www.omim.org 收录
全国 1∶200 000 数字地质图（公开版）空间数据库
As the only one of its kind, China National Digital Geological Map (Public Version at 1∶200 000 scale) Spatial Database (CNDGM-PVSD) is based on China' s former nationwide measured results of regional geological survey at 1∶200 000 scale, and is also one of the nationwide basic geosciences spatial databases jointly accomplished by multiple organizations of China. Spatially, it embraces 1 163 geological map-sheets (at scale 1: 200 000) in both formats of MapGIS and ArcGIS, covering 72% of China's whole territory with a total data volume of 90 GB. Its main sources is from 1∶200 000 regional geological survey reports, geological maps, and mineral resources maps with an original time span from mid-1950s to early 1990s. Approved by the State's related agencies, it meets all the related technical qualification requirements and standards issued by China Geological Survey in data integrity, logic consistency, location acc racy, attribution fineness, and collation precision, and is hence of excellent and reliable quality. The CNDGM-PVSD is an important component of China' s national spatial database categories, serving as a spatial digital platform for the information construction of the State's national economy, and providing informationbackbones to the national and provincial economic planning, geohazard monitoring, geological survey, mineral resources exploration as well as macro decision-making.
DataCite Commons 收录