nlp-datasets

包含自然语言处理(NLP)相关的免费/公共领域文本数据集的字母顺序列表。大多数数据集包含原始非结构化文本数据，如果需要注释的语料库或树库，请参考底部的来源。

An alphabetical list of free/public domain text datasets related to Natural Language Processing (NLP). Most datasets contain raw unstructured text data; for annotated corpora or treebanks, please refer to the sources listed at the bottom.

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

• 描述: 包含截至2011年7月11日的所有公开的Apache Software Foundation邮件存档。
• 大小: 200 GB

2. Blog Authorship Corpus

• 描述: 收集了2004年8月来自blogger.com的19,320名博主的帖子。
• 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 包含截至2012年10月的568,454条亚马逊食品评论。
• 大小: 240 MB

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万条亚马逊评论。
• 大小: 11 GB

5. ArXiv

• 描述: 存档中的所有论文全文及源文件。
• 大小: 270 GB (全文) + 190 GB (源文件)

6. ASAP Automated Essay Scoring [Kaggle]

• 描述: 包含八个作文集，由7至10年级学生撰写，均经过手工评分和双重评分。
• 大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

• 描述: 包含由10年级学生撰写并经过手工评分和双重评分的短答。
• 大小: 35 MB

8. Classification of political social media

• 描述: 政治人物的社交媒体信息按内容分类。
• 大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 用于文体学研究的年度扩展学生文本语料库。
• 大小: 请求获取

10. ClueWeb09 FACC

• 描述: ClueWeb09数据集，带有Freebase注释。
• 大小: 72 GB

11. ClueWeb11 FACC

• 描述: ClueWeb11数据集，带有Freebase注释。
• 大小: 92 GB

12. Common Crawl Corpus

• 描述: 包含超过50亿个网页的网络爬虫数据。
• 大小: 541 TB

13. Cornell Movie Dialog Corpus

• 描述: 包含从电影剧本中提取的大量元数据丰富的虚构对话。
• 大小: 9.5 MB

14. Corporate messaging

• 描述: 关于公司在社交媒体上实际讨论内容的分类数据。
• 大小: 600 KB

15. Crosswikis

• 描述: 英文短语与关联维基百科文章的数据库。
• 大小: 11 GB

16. DBpedia

• 描述: 从维基百科中提取的结构化信息。
• 大小: 17 GB

17. Death Row

• 描述: 自1984年以来被执行的每个囚犯的最后陈述。
• 大小: HTML表格

18. Del.icio.us

• 描述: 125万个delicious.com书签。
• 大小: 170 MB

19. Disasters on social media

• 描述: 10,000条带有灾难事件标注的推文。
• 大小: 2 MB

20. Economic News Article Tone and Relevance

• 描述: 判断新闻文章是否与美国经济相关及其语气。
• 大小: 12 MB

21. Enron Email Data

• 描述: 包含1,227,255封电子邮件，涉及151个保管人。
• 大小: 210 GB

22. Event Registry

• 描述: 提供来自全球100,000个新闻出版商的实时新闻文章访问。
• 大小: 查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

• 描述: 2010年至2015年由现已关闭的点击诱饵网站The Examiner发布的300万条新闻标题。
• 大小: 200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 来自联邦采购数据中心的联邦合同数据。
• 大小: 180 GB

25. Flickr Personal Taxonomies

• 描述: 个人标签的树形数据集。
• 大小: 40 MB

26. Freebase Data Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 26 GB

27. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储。
• 大小: 5 GB

28. Freebase Quad Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 35 GB

29. German Political Speeches Corpus

• 描述: 德国顶级代表最近发表的演讲集。
• 大小: 25 MB, 11 MTokens

30. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客文章、元数据、用户点赞。
• 大小: 1.5 GB

31. Google Books Ngrams

• 描述: 在亚马逊S3上以Hadoop格式提供的Google图书Ngrams。
• 大小: 2.2 TB

32. Google Web 5gram

• 描述: 包含英语单词n-grams及其观察频率计数。
• 大小: 24 GB

33. Gutenberg Ebook List

• 描述: 电子书的注释列表。
• 大小: 2 MB

34. Hansards text chunks of Canadian Parliament

• 描述: 来自加拿大议会官方记录的130万对对齐文本块。
• 大小: 82 MB

35. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录。
• 大小: 4 GB

36. Hate speech identification

• 描述: 包含近15,000行文本，每行文本有三个贡献者判断是否包含仇恨言论。
• 大小: 3 MB

37. Hillary Clinton Emails [Kaggle]

• 描述: 包含近7,000页克林顿的严重编辑的电子邮件。
• 大小: 12 MB

38. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的产品和真实客户搜索词。
• 大小: 65 MB

39. Identifying key phrases in text

• 描述: 问题/答案对及其上下文，上下文被判断是否与问题/答案相关。
• 大小: 8 MB

40. Jeopardy

• 描述: 包含216,930个过去的Jeopardy问题。
• 大小: 53 MB

41. 200k English plaintext jokes

• 描述: 来自各种来源的208,000个纯文本笑话。
• 大小: 请求获取

42. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译。
• 大小: 612 MB

43. Material Safety Datasheets

• 描述: 230,000份材料安全数据表。
• 大小: 3 GB

44. Million News Headlines - ABC Australia [Kaggle]

• 描述: ABC新闻澳大利亚从2003年到2017年发布的130万条新闻标题。
• 大小: 56 MB

45. MCTest

• 描述: 用于研究机器文本理解的660个故事及其相关问题。
• 大小: 1 MB

46. NEGRA

• 描述: 德语报纸文本的语法注释语料库。
• 大小: 请求获取

47. News Headlines of India - Times of India [Kaggle]

• 描述: 时代印度从2001年到2017年发布的270万条新闻标题。
• 大小: 185 MB

48. News article / Wikipedia page pairings

• 描述: 贡献者阅读短文章并被问及它最接近哪个维基百科文章。
• 大小: 6 MB

49. NIPS2015 Papers (version 2) [Kaggle]

• 描述: NIPS2015会议的所有论文全文。
• 大小: 335 MB

50. NYTimes Facebook Data

• 描述: 所有纽约时报的Facebook帖子。
• 大小: 5 MB

51. One Week of Global News Feeds [Kaggle]

• 描述: 2017年8月一周内全球发布的140万篇文章。
• 大小: 115 MB

52. Objective truths of sentences/concept pairs

• 描述: 贡献者阅读包含两个概念的句子，并被问及句子是否可能为真。
• 大小: 700 KB

53. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储。
• 大小: 16 GB

54. Personae Corpus

• 描述: 用于作者归属和个性预测实验的荷兰语语料库。
• 大小: 请求获取

55. Reddit Comments

• 描述: 截至2015年7月的所有公开Reddit评论。
• 大小: 250 GB

56. Reddit Comments (May ‘15) [Kaggle]

• 描述: 上述数据集的子集。
• 大小: 8 GB

57. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月31日所有公开的Reddit提交。
• 大小: 42 GB

58. Reuters Corpus

• 描述: 用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
• 大小: 2.5 GB

59. SaudiNewsNet

• 描述: 来自各种在线沙特报纸的31,030篇阿拉伯语新闻文章及其元数据。
• 大小: 2 MB

60. SMS Spam Collection

• 描述: 5,574条英文、真实和非编码的SMS消息，标记为合法或垃圾邮件。
• 大小: 200 KB

61. SouthparkData

• 描述: 包含季节、剧集、角色和台词信息的.csv文件。
• 大小: 3.6 MB

62. Stackoverflow

• 描述: 730万条Stackoverflow问题和其他Stack Exchange网站。
• 大小: 查询工具

63. Twitter Cheng-Caverlee-Lee Scrape

• 描述: 2009年9月至2010年1月期间的推文，地理位置定位。
• 大小: 400 MB

64. Twitter New England Patriots Deflategate sentiment

• 描述: 2015年超级碗前关于放气足球和爱国者队是否作弊的推特情绪分析。
• 大小: 2 MB

65. Twitter Progressive issues sentiment analysis

• 描述: 关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
• 大小: 600 KB

66. Twitter Sentiment140

• 描述: 与品牌/关键词相关的推文。
• 大小: 77 MB

67. Twitter sentiment analysis: Self-driving cars

• 描述: 贡献者阅读推文并将其分类为非常积极、稍微积极、中性、稍微消极或非常消极。
• 大小: 1 MB

68. Twitter Tokyo Geolocated Tweets

• 描述: 来自东京的200,000条推文。
• 大小: 47 MB

69. Twitter UK Geolocated Tweets

• 描述: 来自英国的170,000条推文。
• 大小: 47 MB

70. Twitter USA Geolocated Tweets

• 描述: 来自美国的200,000条推文。
• 大小: 45 MB

71. Twitter US Airline Sentiment [Kaggle]

• 描述: 关于美国主要航空公司问题的情绪分析工作。
• 大小: 2.5 MB

72. U.S. economic performance based on news articles

• 描述: 新闻文章标题和摘录是否与美国经济相关。
• 大小: 5 MB

73. Urban Dictionary Words and Definitions [Kaggle]

• 描述: 2016年5月所有Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
• 大小: 238 MB

74. Wesbury Lab Usenet Corpus

• 描述: 2005-2010年来自47,860个英语新闻组的匿名汇编。
• 大小: 40 GB

75. Wesbury Lab Wikipedia Corpus

• 描述: 2010年4月英语维基百科文章的快照，处理以去除所有链接和不相关材料。
• 大小: 1.8 GB

76. Wikipedia Extraction (WEX)

• 描述: 英语维基百科的处理转储。
• 大小: 66 GB

77. Wikipedia XML Data

• 描述: 所有维基媒体wiki的完整副本，包括wikitext源和嵌入XML的元数据。
• 大小: 500 GB

78. Yahoo! Answers Comprehensive Questions and Answers

• 描述: 截至2007年10月25日的雅虎答案语料库。
• 大小: 3.6 GB

79. Yahoo! Answers consisting of questions asked in French

• 描述: 2006年至2015年法语提问的雅虎答案子集。
• 大小: 3.8 GB

80. Yahoo! Answers Manner Questions

• 描述: 根据其语言特性选择的雅虎答案语料库子集。
• 大小: 104 MB

81. Yahoo! HTML Forms Extracted from Publicly Available Webpages

• 描述: 包含复杂HTML表单的小样本页面。
• 大小: 50+ GB

82. Yahoo! Metadata Extracted from Publicly Available Web Pages

• 描述: 1亿个RDF数据三元组。
• 大小: 2 GB

83. Yahoo N-Gram Representations

• 描述: 包含n-gram表示的数据集。
• 大小: 2.6 GB

84. Yahoo! N-Grams, version 2.0

• 描述: 从1460万份文档中提取的n-grams（n=1到5）。
• 大小: 12 GB

85. Yahoo! Search Logs with Relevance Judgments

• 描述: 匿名的雅虎搜索日志与相关性判断。
• 大小: 1.3 GB

86. Yahoo! Semantically Annotated Snapshot of the English Wikipedia

• 描述: 2006年11月4日英语维基百科的语义注释快照。
• 大小: 6 GB

87. Yelp

• 描述: 包括餐厅排名和220万条评论。
• 大小: 请求获取

88. Youtube

• 描述: 170万个YouTube视频描述。
• 大小: 请求获取

搜集汇总

数据集介绍

构建方式

nlp-datasets是一个全面的自然语言处理数据集列表，涵盖了从邮件存档、博客文章到新闻头条等多种类型的文本数据。这些数据集的构建主要通过搜集公开可用的文本资源，例如Apache软件基金会公共邮件存档、博客作者ship corpus等，并对这些资源进行整理和分类，以适应不同的NLP研究和应用需求。

特点

该数据集的特点在于其内容的多样性和覆盖面的广泛性，包含了不同来源、不同语言、不同主题的文本数据。此外，数据集的开放性和公共性使得研究者可以方便地获取和利用这些资源，促进了自然语言处理领域的研究发展。

使用方法

用户可以根据自己的研究需求，通过数据集提供的链接直接访问和下载数据。对于特定格式或结构的数据，如需进一步处理或分析，用户可能需要使用相关的文本处理工具或NLP框架。数据集的README文件和相关的文档通常会提供详细的使用指南和数据结构说明，帮助用户更有效地利用这些数据集。

背景与挑战

背景概述

nlp-datasets数据集是一个致力于为自然语言处理（NLP）研究提供免费公共领域文本数据的集合。该数据集由多个来源汇总而成，包含了从Apache软件基金会邮件存档到YouTube视频描述等多种类型的文本数据。创建时间不一，涉及多个研究人员和机构，其中不乏斯坦福大学、哈佛图书馆等知名机构。该数据集的核心研究问题是提供多样化的文本资源，以支持NLP领域的各项研究工作，对相关领域的影响力在于为研究者和开发者提供了丰富的数据基础，推动了诸如文本分类、情感分析、信息检索等任务的进展。

当前挑战

nlp-datasets面临的挑战主要在于数据的多样性和质量。首先，数据集包含了不同来源、不同格式和不同语言的数据，这要求研究人员在处理数据前必须进行适当的清洗和格式化。其次，数据的质量参差不齐，需要对数据进行验证和标注，以确保研究结果的准确性。此外，随着数据量的不断增长，如何有效地存储、访问和处理这些大规模数据集，也是一大挑战。在构建过程中，数据集的整合、清洗和标注都需要耗费大量的人力和时间资源。

常用场景

经典使用场景

nlp-datasets数据集广泛应用于自然语言处理领域，其经典使用场景包括构建语言模型、文本分类、情感分析、信息抽取等任务。该数据集提供了丰富的文本资源，如Apache邮件存档、博客作者ship语料库、亚马逊产品评论等，这些资源为研究者和开发者提供了实验和模型训练的基础。

解决学术问题

该数据集解决了自然语言处理中的多个学术问题，如语言模型的预训练、情感倾向的判断、文本数据的自动分类等。通过提供标注数据和无标注数据，它支持了监督学习和无监督学习的研究，对提升机器理解自然语言的能力具有重要意义。

衍生相关工作

基于nlp-datasets数据集，研究者们衍生出了多项相关工作，如构建了用于文本分类的深度学习模型、开发了用于情感分析的自动化工具等。这些工作不仅推动了自然语言处理领域的发展，也为其他相关领域如信息检索、机器学习等提供了方法和工具。