nlp-datasets

github2020-05-02 更新2024-05-31 收录

下载链接：

https://github.com/jonanem/nlp-datasets

下载链接

链接失效反馈

官方服务：

资源简介：

包含用于自然语言处理的文本数据集的字母顺序列表，主要提供原始非结构化文本数据。

An alphabetical list of text datasets for natural language processing, primarily providing raw unstructured text data.

创建时间：

2019-02-21

原始信息汇总

数据集概述

自然语言处理（NLP）数据集列表

本数据集列表包含多个公共领域的文本数据集，适用于自然语言处理任务。以下是部分数据集的详细信息：

Apache Software Foundation Public Mail Archives
- 数据量：200 GB
- 描述：包含所有公开的Apache软件基金会邮件档案。
Blog Authorship Corpus
- 数据量：298 MB
- 描述：收集了19,320位博主在2004年8月的博客文章，共计681,288篇和超过14000万字。
Amazon Fine Food Reviews [Kaggle]
- 数据量：240 MB
- 描述：包含568,454条亚马逊用户在2012年10月之前留下的食品评论。
Amazon Reviews
- 数据量：11 GB
- 描述：斯坦福大学收集的3500万条亚马逊评论。
ArXiv
- 数据量：270 GB（全文）+ 190 GB（源文件）
- 描述：包含档案中的所有论文全文及源文件。
ASAP Automated Essay Scoring [Kaggle]
- 数据量：100 MB
- 描述：包含八组论文，每组由一个提示生成，由7至10年级学生撰写，均经过手工评分和双重评分。
ASAP Short Answer Scoring [Kaggle]
- 数据量：35 MB
- 描述：包含由单个提示生成的数据集，由10年级学生主要撰写，均经过手工评分和双重评分。
Classification of political social media
- 数据量：4 MB
- 描述：政治社交媒体消息按内容分类。
CLiPS Stylometry Investigation (CSI) Corpus
- 描述：每年扩充的学生文本语料库，主要用于文体学研究。
ClueWeb09 FACC
- 数据量：72 GB
- 描述：ClueWeb09数据集，带有Freebase注释。
ClueWeb11 FACC
- 数据量：92 GB
- 描述：ClueWeb11数据集，带有Freebase注释。
Common Crawl Corpus
- 数据量：541 TB
- 描述：包含超过50亿个网页的网络爬虫数据。
Cornell Movie Dialog Corpus
- 数据量：9.5 MB
- 描述：包含从原始电影剧本中提取的大量元数据丰富的虚构对话集合。
Corporate messaging
- 数据量：600 KB
- 描述：关于公司在社交媒体上实际讨论内容的数据分类工作。
Crosswikis
- 数据量：11 GB
- 描述：英语短语与关联的维基百科文章数据库。
DBpedia
- 数据量：17 GB
- 描述：从维基百科中提取的结构化信息，使其在网络上可用。
Death Row
- 描述：自1984年以来被执行的每个囚犯的最后遗言。
Del.icio.us
- 数据量：170 MB
- 描述：125万个美味书签。
Disasters on social media
- 数据量：2 MB
- 描述：10,000条带有灾难事件标注的推文。
Economic News Article Tone and Relevance
- 数据量：12 MB
- 描述：判断新闻文章是否与美国经济相关及其语气。
Enron Email Data
- 数据量：210 GB
- 描述：包含1,227,255封电子邮件，涵盖151个保管人。
Event Registry
- 描述：提供来自全球100,000个新闻出版商的实时新闻文章访问的免费工具。
Examiner.com - Spam Clickbait News Headlines [Kaggle]
- 数据量：200 MB
- 描述：300万条由现已关闭的点击诱饵网站The Examiner发布的众包新闻标题。
Federal Contracts from the Federal Procurement Data Center (USASpending.gov)
- 数据量：180 GB
- 描述：来自联邦采购数据中心的联邦合同数据转储。
Flickr Personal Taxonomies
- 数据量：40 MB
- 描述：个人标签的树形数据集。
Freebase Data Dump
- 数据量：26 GB
- 描述：Freebase中所有当前事实和断言的数据转储。
Freebase Simple Topic Dump
- 数据量：5 GB
- 描述：关于Freebase中每个主题的基本识别事实的数据转储。
Freebase Quad Dump
- 数据量：35 GB
- 描述：Freebase中所有当前事实和断言的数据转储。
GigaOM Wordpress Challenge [Kaggle]
- 数据量：1.5 GB
- 描述：博客文章、元数据、用户点赞。
Google Books Ngrams
- 数据量：2.2 TB
- 描述：在Amazon S3上也以Hadoop格式提供。
Google Web 5gram
- 数据量：24 GB
- 描述：包含英语单词n-gram及其观察频率计数。
Gutenberg Ebook List
- 数据量：2 MB
- 描述：带注释的电子书列表。
Hansards text chunks of Canadian Parliament
- 数据量：82 MB
- 描述：来自第36届加拿大议会官方记录（Hansards）的130万对对齐文本块。
Harvard Library
- 数据量：4 GB
- 描述：哈佛图书馆持有的超过1200万条书目记录，包括书籍、期刊、电子资源等。
Hate speech identification
- 数据量：3 MB
- 描述：查看短文本并确定其是否包含仇恨言论、具有攻击性但无仇恨言论，或完全不具有攻击性。
Hillary Clinton Emails [Kaggle]
- 数据量：12 MB
- 描述：Clinton的近7,000页经过大量编辑的电子邮件。
Historical Newspapers Yearly N-grams and Entities Dataset
- 数据量：3.1 GB
- 描述：来自英国报纸档案库子集的1,000,000个最频繁的1-, 2-, 和 3-grams的年使用时间序列，以及100,000个最频繁的命名实体链接至维基百科。
Historical Newspapers Daily Word Time Series Dataset
- 数据量：2.7 GB
- 描述：1836年至1922年间，87年的英国和美国历史报纸中25,000个最频繁使用的单词的每日使用时间序列。
Home Depot Product Search Relevance [Kaggle]
- 数据量：65 MB
- 描述：包含Home Depot网站上的多个产品和真实客户搜索词。
Identifying key phrases in text
- 数据量：8 MB
- 描述：问题/答案对+上下文；上下文是否与问题/答案相关。
Jeopardy
- 数据量：53 MB
- 描述：216,930个过往Jeopardy问题档案。
200k English plaintext jokes
- 描述：来自各种来源的208,000个纯文本笑话档案。
Machine Translation of European Languages
- 数据量：612 MB
- 描述：欧洲语言的机器翻译。
Material Safety Datasheets
- 数据量：3 GB
- 描述：230,000份材料安全数据表。
Million News Headlines - ABC Australia [Kaggle]
- 数据量：56 MB
- 描述：ABC新闻澳大利亚从2003年至2017年发布的130万个新闻标题。
Millions of News Article URLs
- 数据量：101 MB
- 描述：2014年10月至2015年4月期间，来自950多个英语新闻网站首页的230万个新闻文章URL。
MCTest
- 数据量：1 MB
- 描述：用于研究机器文本理解的660个故事和相关问题集。
News Headlines of India - Times of India [Kaggle]
- 数据量：185 MB
- 描述：Times of India从2001年至2017年发布的270万个新闻标题，带类别。
News article / Wikipedia page pairings
- 数据量：6 MB
- 描述：阅读短文章并询问哪个维基百科页面与之最匹配。
NIPS2015 Papers (version 2) [Kaggle]
- 数据量：335 MB
- 描述：所有NIPS2015论文的全文。
NYTimes Facebook Data
- 数据量：5 MB
- 描述：所有NYTimes Facebook帖子。
One Week of Global News Feeds [Kaggle]
- 数据量：115 MB
- 描述：2017年8月一周内全球20种语言发布的140万篇文章的新闻事件数据集。
Objective truths of sentences/concept pairs
- 数据量：700 KB
- 描述：阅读包含两个概念的句子，并询问句子是否可能为真，并按1-5级评分。
Open Library Data Dumps
- 数据量：16 GB
- 描述：Open Library中所有记录的所有修订的数据转储。
Personae Corpus
- 描述：用于作者归属和人格预测实验的145个荷兰语学生文本语料库。
Reddit Comments
- 数据量：250 GB
- 描述：2015年7月所有公开可用的Reddit评论，共17亿条。
Reddit Comments (May ‘15) [Kaggle]
- 数据量：8 GB
- 描述：上述数据集的子集。
Reddit Submission Corpus
- 数据量：42 GB
- 描述：2006年1月至2015年8月所有公开可用的Reddit提交。
Reuters Corpus
- 数据量：2.5 GB
- 描述：用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
SMS Spam Collection
- 数据量：200 KB
- 描述：5,574条英语、真实且非编码的SMS消息，标记为合法（ham）或垃圾邮件（spam）。
SouthparkData
- 数据量：3.6 MB
- 描述：包含季节、剧集、角色和台词信息的.csv文件。
Stanford Question Answering Dataset (SQUAD 2.0)
- 描述：阅读理解数据集，由人群工作者在维基百科文章上提出的问题组成，答案是相应阅读段落中的文本段或跨度，或者问题可能无法回答。
Stackoverflow
- 描述：730万条Stackoverflow问题和其他StackExchange站点（查询工具）。
Twitter Cheng-Caverlee-Lee Scrape
- 数据量：400 MB
- 描述：2009年9月至2010年1月期间的地理定位推文。
Twitter New England Patriots Deflategate sentiment
- 数据量：2 MB
- 描述：2015年超级碗前关于泄气足球和爱国者队是否作弊的大量讨论中的Twitter情绪。
Twitter Progressive issues sentiment analysis
- 数据量：600 KB
- 描述：关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
Twitter Sentiment140
- 数据量：77 MB
- 描述：与品牌/关键词相关的推文。网站包括论文和研究想法。
Twitter sentiment analysis: Self-driving cars
- 数据量：1 MB
- 描述：阅读推文并将其分类为非常积极、稍微积极、中性、稍微消极或非常消极，并询问推文是否与自动驾驶汽车无关。
Twitter Elections Integrity
- 数据量：1.4 GB
- 描述：2016年美国选举中的所有可疑推文和媒体。
Twitter Tokyo Geolocated Tweets
- 数据量：47 MB
- 描述：东京的20万条推文。
Twitter UK Geolocated Tweets
- 数据量：47 MB
- 描述：英国的17万条推文。
Twitter USA Geolocated Tweets
- 数据量：45 MB
- 描述：美国的20万条推文。
Twitter US Airline Sentiment [Kaggle]
- 数据量：2.5 MB
- 描述：关于美国主要航空公司问题的情绪分析工作。
U.S. economic performance based on news articles
- 数据量：5 MB
- 描述：新闻文章标题和摘录是否与美国经济相关。
Urban Dictionary Words and Definitions [Kaggle]
- 数据量：238 MB
- 描述：2016年5月所有Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
Wesbury Lab Usenet Corpus
- 数据量：40 GB
- 描述：2005-2010年来自47,860个英语新闻组的匿名汇编。
Wesbury Lab Wikipedia Corpus
- 数据量：1.8 GB
- 描述：2010年4月英语维基百科所有文章的快照，经过处理以删除所有链接和无关材料。
WorldTree Corpus of Explanation Graphs for Elementary Science Questions
- 数据量：8 MB
- 描述：为美国公开可用的小学科学考试问题构建的解释图、解释角色评级和相关半结构化表格存储库。
Wikipedia Extraction (WEX)
- 数据量：66 GB
- 描述：英语维基百科的预处理转储。
Wikipedia XML Data
- 数据量：500 GB
- 描述：所有维基媒体wiki的完整副本，以wikitext源和嵌入XML中的元数据形式。
Yahoo! Answers Comprehensive Questions and Answers
- 数据量：3.6 GB
- 描述：截至2007年10月25日的Yahoo! Answers语料库，包含4,483,032个问题及其答案。
Yahoo! Answers consisting of questions asked in French
- 数据量：3.8 GB
- 描述：2006年至2015年Yahoo! Answers语料库的子集，包含170万个用法语提出的问题及其答案。
Yahoo! Answers Manner Questions
- 数据量：104 MB
- 描述：截至2007年10月25日的Yahoo! Answers语料库的子集，包含142,627个问题及其答案。
Yahoo! HTML Forms Extracted from Publicly Available Webpages
- 数据量：50+ GB
- 描述：包含从公开

搜集汇总

数据集介绍

构建方式

nlp-datasets 数据集的构建汇集了多种自然语言处理领域常用的文本数据，涵盖了从邮件档案、博客文章到新闻评论等不同来源的文本。这些数据大多数是未经处理的原始文本数据，但也有部分经过了结构化处理，如注释或分类。

使用方法

用户可以根据具体的研究需求，选择合适的数据集进行下载和使用。数据集的使用通常需要遵循相应的数据使用协议，部分数据集可能需要用户注册或同意特定的使用条款。对于带有情感标签或结构化信息的数据集，可以直接用于相关任务的模型训练和评估。

背景与挑战

背景概述

nlp-datasets是一个开源的自然语言处理(NLP)数据集列表，由Alphabetical进行整理。该数据集涵盖了多种文本数据，包括未经处理的原始文本数据和经过注释的语料库或树库等。创建该数据集的目的是为了方便研究人员和开发者能够方便地获取和使用这些资源，以提高NLP领域的研究效率和应用开发。该数据集自发布以来，已经对相关领域产生了积极的影响，成为了自然语言处理领域的重要资源之一。

当前挑战

nlp-datasets在构建过程中所遇到的挑战主要包括数据的多样性和质量保证。由于数据集涵盖了多种类型和来源的数据，确保数据的准确性和一致性是一项艰巨的任务。此外，随着NLP领域的发展，对数据集的更新和维护也提出了更高的要求。在所解决的领域问题方面，nlp-datasets面临的最大挑战是如何有效地支持各种NLP任务，如文本分类、情感分析、机器翻译等，同时还要确保数据集能够适应不断变化的技术需求和研究方向。

常用场景

经典使用场景

nlp-datasets数据集广泛包含了自然语言处理领域常用的文本数据，其经典使用场景主要集中于文本分类、情感分析、信息抽取等自然语言处理任务。例如，亚马逊商品评论数据集可用于情感分析，判断商品评价的正面或负面情感；而政治社交媒体消息分类数据集则可用于分类政治内容，以分析公众的政治倾向。

解决学术问题

该数据集解决了学术研究中对于大规模文本数据的需求问题，使得研究者能够利用这些数据进行模型训练和算法验证。例如，通过使用nlp-datasets中的不同文本数据集，研究者可以构建更精确的文本分类器，进而提高信息检索的效率；同时，这些数据集也为情感分析、作者识别等任务提供了丰富的实验基础。

实际应用

在实际应用中，nlp-datasets的数据集可被用于改善搜索引擎的搜索结果相关性、提升在线推荐系统的准确度、增强社交媒体平台的监控能力等。例如，通过分析亚马逊商品评论数据集，企业可以更好地理解消费者的反馈，从而优化产品设计和市场策略。

数据集最近研究