nlp-datasets

包含自然语言处理(NLP)使用的免费/公共域文本数据集的字母顺序列表。大多数数据集是原始非结构化文本数据，如果需要注释语料库或树库，请参考底部来源。

An alphabetical list of free/public domain text datasets for use in Natural Language Processing (NLP). Most datasets consist of raw unstructured text data; for annotated corpora or treebanks, please refer to the sources listed at the bottom.

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

• 描述: 包含所有公开的Apache Software Foundation邮件存档，截至2011年7月11日。
• 大小: 200 GB

2. Blog Authorship Corpus

• 描述: 收集了19,320名博主在2004年8月从blogger.com发布的帖子。
• 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 包含568,454条亚马逊用户对食品的评论，截至2012年10月。
• 大小: 240 MB

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万亚马逊评论。
• 大小: 11 GB

5. ArXiv

• 描述: 所有存档论文的全文及源文件。
• 大小: 270 GB (全文) + 190 GB (源文件)

6. ASAP Automated Essay Scoring [Kaggle]

• 描述: 包含八组学生作文，用于自动评分竞赛。
• 大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

• 描述: 包含学生短答，用于评分竞赛。
• 大小: 35 MB

8. Classification of political social media

• 描述: 政治社交媒体消息的内容分类。
• 大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 用于文体学研究的每年扩展的学生文本语料库。
• 大小: 请求获取

10. ClueWeb09 FACC

• 描述: ClueWeb09数据集，带有Freebase注释。
• 大小: 72 GB

11. ClueWeb11 FACC

• 描述: ClueWeb11数据集，带有Freebase注释。
• 大小: 92 GB

12. Common Crawl Corpus

• 描述: 包含超过50亿网页的网络爬虫数据。
• 大小: 541 TB

13. Cornell Movie Dialog Corpus

• 描述: 包含从电影剧本中提取的大量虚构对话。
• 大小: 9.5 MB

14. Corporate messaging

• 描述: 关于公司在社交媒体上讨论内容的分类数据。
• 大小: 600 KB

15. Crosswikis

• 描述: 英语短语与相关维基百科文章的数据库。
• 大小: 11 GB

16. DBpedia

• 描述: 从维基百科中提取的结构化信息。
• 大小: 17 GB

17. Death Row

• 描述: 自1984年以来被执行死刑的囚犯的最后陈述。
• 大小: HTML表格

18. Del.icio.us

• 描述: 125万条delicious.com上的书签。
• 大小: 170 MB

19. Disasters on social media

• 描述: 10,000条带有灾难事件标注的推文。
• 大小: 2 MB

20. Economic News Article Tone and Relevance

• 描述: 关于美国经济相关新闻文章的语气和相关性评估。
• 大小: 12 MB

21. Enron Email Data

• 描述: 包含1,227,255封电子邮件，涉及151个保管人。
• 大小: 210 GB

22. Event Registry

• 描述: 提供实时新闻文章访问的免费工具。
• 大小: 查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

• 描述: 300万条由The Examiner发布的点击诱饵新闻标题。
• 大小: 200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 美国联邦采购数据中心的所有联邦合同数据。
• 大小: 180 GB

25. Flickr Personal Taxonomies

• 描述: 个人标签的树形数据集。
• 大小: 40 MB

26. Freebase Data Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 26 GB

27. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储。
• 大小: 5 GB

28. Freebase Quad Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 35 GB

29. German Political Speeches Corpus

• 描述: 德国高层代表的近期演讲集合。
• 大小: 25 MB

30. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客文章、元数据和用户点赞数据。
• 大小: 1.5 GB

31. Google Books Ngrams

• 描述: 谷歌图书中的N-gram数据，也可在亚马逊S3上以Hadoop格式获取。
• 大小: 2.2 TB

32. Google Web 5gram

• 描述: 包含英语单词N-gram及其观察频率计数。
• 大小: 24 GB

33. Gutenberg Ebook List

• 描述: 古腾堡电子书列表，带注释。
• 大小: 2 MB

34. Hansards text chunks of Canadian Parliament

• 描述: 加拿大议会官方记录中的130万对对齐文本块。
• 大小: 82 MB

35. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录。
• 大小: 4 GB

36. Hate speech identification

• 描述: 包含近15,000行文本，用于识别仇恨言论和冒犯性语言。
• 大小: 3 MB

37. Hillary Clinton Emails [Kaggle]

• 描述: 包含近7,000页克林顿的电子邮件。
• 大小: 12 MB

38. Historical Newspapers Yearly N-grams and Entities Dataset

• 描述: 包含英国报纸档案库中1,000,000个最频繁的1-, 2-, 和 3-grams的年使用时间序列。
• 大小: 3.1 GB

39. Historical Newspapers Daily Word Time Series Dataset

• 描述: 1836年至1922年间英国和美国历史报纸中25,000个最频繁单词的每日使用时间序列。
• 大小: 2.7 GB

40. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的产品和真实客户搜索词。
• 大小: 65 MB

41. Identifying key phrases in text

• 描述: 用于识别文本中关键短语的数据集。
• 大小: 8 MB

42. Jeopardy

• 描述: 包含216,930个Jeopardy问题的存档。
• 大小: 53 MB

43. 200k English plaintext jokes

• 描述: 包含208,000个来自各种来源的纯文本笑话。
• 大小: 请求获取

44. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译数据。
• 大小: 612 MB

45. Material Safety Datasheets

• 描述: 230,000份材料安全数据表。
• 大小: 3 GB

46. Million News Headlines - ABC Australia [Kaggle]

• 描述: 130万条ABC新闻澳大利亚发布的新闻标题。
• 大小: 56 MB

47. Millions of News Article URLs

• 描述: 230万个新闻文章的URL，来自950多个英语新闻网站。
• 大小: 101 MB

48. MCTest

• 描述: 包含660个故事和相关问题的数据集，用于机器文本理解研究。
• 大小: 1 MB

49. NEGRA

• 描述: 德语报纸文本的语法标注语料库。
• 大小: 请求获取

50. News Headlines of India - Times of India [Kaggle]

• 描述: 270万条由印度时报发布的新闻标题。
• 大小: 185 MB

51. News article / Wikipedia page pairings

• 描述: 用于匹配新闻文章和维基百科页面的数据集。
• 大小: 6 MB

52. NIPS2015 Papers (version 2) [Kaggle]

• 描述: 包含所有NIPS2015论文的全文。
• 大小: 335 MB

53. NYTimes Facebook Data

• 描述: 所有纽约时报的Facebook帖子。
• 大小: 5 MB

54. One Week of Global News Feeds [Kaggle]

• 描述: 包含2017年8月一周内全球发布的140万篇文章。
• 大小: 115 MB

55. Objective truths of sentences/concept pairs

• 描述: 包含句子/概念对的客观真理数据集。
• 大小: 700 KB

56. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储。
• 大小: 16 GB

57. Personae Corpus

• 描述: 用于作者归属和个性预测实验的荷兰语语料库。
• 大小: 请求获取

58. Reddit Comments

• 描述: 截至2015年7月的所有公开Reddit评论。
• 大小: 250 GB

59. Reddit Comments (May ‘15) [Kaggle]

• 描述: Reddit评论数据集的子集。
• 大小: 8 GB

60. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月的所有公开Reddit提交内容。
• 大小: 42 GB

61. Reuters Corpus

• 描述: 用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
• 大小: 2.5 GB

62. SaudiNewsNet

• 描述: 包含31,030篇阿拉伯语报纸文章及其元数据。
• 大小: 2 MB

63. SMS Spam Collection

• 描述: 包含5,574条英语SMS消息，标记为合法或垃圾邮件。
• 大小: 200 KB

64. SouthparkData

• 描述: 包含南方公园剧本信息的CSV文件。
• 大小: 3.6 MB

65. Stanford Question Answering Dataset (SQUAD 2.0)

• 描述: 阅读理解数据集，包含由众包工作者在维基百科文章上提出的问题。
• 大小: 请求获取

66. Stackoverflow

• 描述: 包含730万条Stackoverflow问题和其他Stack Exchange网站的数据。
• 大小: 查询工具

67. Twitter Cheng-Caverlee-Lee Scrape

• 描述: 2009年9月至2010年1月的地理位置标记推文。
• 大小: 400 MB

68. Twitter New England Patriots Deflategate sentiment

• 描述: 关于新英格兰爱国者队“放气门”事件的推特情绪分析。
• 大小: 2 MB

69. Twitter Progressive issues sentiment analysis

• 描述: 关于各种进步问题的推特情绪分析。
• 大小: 600 KB

70. Twitter Sentiment140

• 描述: 与品牌/关键词相关的推文情绪分析。
• 大小: 77 MB

71. Twitter sentiment analysis: Self-driving cars

• 描述: 关于自动驾驶汽车的推特情绪分析。
• 大小: 1 MB

72. Twitter Elections Integrity

• 描述: 2016年美国选举期间的所有可疑推文和媒体。
• 大小: 1.4 GB

73. Twitter Tokyo Geolocated Tweets

• 描述: 200,000条来自东京的地理位置标记推文。
• 大小: 47 MB

74. Twitter UK Geolocated Tweets

• 描述: 170,000条来自英国的地理位置标记推文。
• 大小: 47 MB

75. Twitter USA Geolocated Tweets

• 描述: 200,000条来自美国的地理位置标记推文。
• 大小: 45 MB

76. Twitter US Airline Sentiment [Kaggle]

• 描述: 关于美国主要航空公司的推特情绪分析。
• 大小: 2.5 MB

77. U.S. economic performance based on news articles

• 描述: 基于新闻文章的美国经济表现评估。
• 大小: 5 MB

78. Urban Dictionary Words and Definitions [Kaggle]

• 描述: 包含260万个Urban Dictionary单词、定义、作者和投票的清理CSV语料库。
• 大小: 238 MB

79. Wesbury Lab Usenet Corpus

• 描述: 2005-2010年期间47,860个英语新闻组的匿名汇编。
• 大小: 40 GB

80. Wesbury Lab Wikipedia Corpus

• 描述: 2010年4月对英语维基百科文章的快照，处理后移除了所有链接和无关材料。
• 大小: 1.8 GB

81. WorldTree Corpus of Explanation Graphs for Elementary Science Questions

• 描述: 为美国公开可用的小学科学考试问题构建的解释图语料库。
• 大小: 8 MB

82. Wikipedia Extraction (WEX)

• 描述: 英语维基百科的加工转储。
• 大小: 66 GB

83. Wikipedia XML Data

• 描述: 所有维基媒体wiki的完整副本，包括wikitext源和嵌入XML的元数据。
• 大小: 500 GB

84. Yahoo! Answers Comprehensive Questions and Answers

• 描述: 2007年10月25日的雅虎答案语料库。
• 大小: 3.6 GB

85. Yahoo! Answers consisting of questions asked in French

• 描述: 2006年至2015年期间在法语中提出的170万个问题及其答案的子集。
• 大小: 3.8 GB

86. Yahoo! Answers Manner Questions

• 描述: 2007年10月25日雅虎答案语料库的子集，用于其语言特性。
• 大小: 104 MB

87. Yahoo! HTML Forms Extracted from Publicly Available Webpages

• 描述: 包含从公开可用网页中提取的复杂HTML表单的小样本。
• 大小: 50+ GB

88. Yahoo! Metadata Extracted from Publicly Available Web Pages

• 描述: 1亿个RDF数据三元组。
• 大小: 2 GB

89. Yahoo N-Gram Representations

• 描述: 未完

搜集汇总

数据集介绍

构建方式

该数据集通过收集公开域内自由可用的文本数据构成，涵盖了自然语言处理领域中常用的各类语料。数据集的构建主要依赖于网络爬虫抓取、公开数据集下载以及用户贡献等方式，旨在为研究者提供丰富的文本资源。

特点

nlp-datasets数据集的特点在于其全面性和多样性，包含了从邮件存档、博客文章到新闻评论等不同类型的文本数据。这些数据不仅覆盖了广泛的主题，还包含了不同语言和文化背景的文本，为多语言处理和文化研究提供了宝贵的资源。

使用方法

用户可以通过数据集的GitHub页面获取数据，并根据个人需求进行下载和使用。每个数据集都有详细的描述，包括数据来源、大小和预处理的程度，方便用户选择合适的数据集进行研究和开发。

背景与挑战

背景概述

nlp-datasets是一个免费/公共领域的文本数据集列表，专注于自然语言处理（NLP）领域。该数据集主要包含未经结构化的原始文本数据，若需注释数据集或树库，请参考底部的资源。该数据集的创建旨在为NLP研究人员和开发者提供丰富的文本资源，以促进该领域的研究与应用。自发布以来，nlp-datasets已成为NLP领域内重要的资源库之一，对相关研究和开发工作产生了积极影响。

当前挑战

尽管nlp-datasets为NLP领域提供了宝贵的资源，但在使用过程中也面临一些挑战。首先，数据集的多样性和规模带来了整合和管理的难题。其次，数据集的质量和一致性也需严格把控，以确保研究的准确性和可靠性。此外，随着NLP技术的不断发展，如何更新和维护这些数据集，以适应新的研究需求，也是一个持续的挑战。

常用场景

经典使用场景

nlp-datasets数据集经典使用场景在于为自然语言处理领域的研究者提供丰富的文本数据资源，包括但不限于邮件档案、博客文章、产品评论、社交媒体推文等。这些数据被广泛用于语言模型训练、情感分析、文本分类、信息提取等任务，是NLP领域不可或缺的基础设施。

解决学术问题

该数据集解决了自然语言处理领域中的多个学术研究问题，如语言模型的预训练问题、情感分析中的数据不足问题、文本分类中的标注数据缺乏问题等。它为研究者提供了大量的文本数据，使得他们能够进行大规模的实验验证和模型训练，从而推动了NLP技术的进步。

衍生相关工作

基于nlp-datasets数据集，衍生出了众多相关的工作，包括但不限于情感分析模型的开发、文本分类算法的研究、以及用于教育目的的数据集整理等。这些工作进一步推动了自然语言处理领域的研究，并为实际应用提供了强有力的支持。