nlp-datasets

包含自然语言处理(NLP)领域使用的免费/公共领域文本数据集的字母顺序列表。这些数据集主要包含原始非结构化文本数据，适用于NLP研究。

An alphabetical list of free/public domain text datasets used in the field of Natural Language Processing (NLP). These datasets primarily consist of raw unstructured text data, suitable for NLP research.

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

• 描述: 所有公开的Apache Software Foundation邮件存档，截至2011年7月11日。
• 大小: 200 GB

2. Blog Authorship Corpus

• 描述: 2004年8月从blogger.com收集的19,320名博主的帖子。
• 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 截至2012年10月的568,454条亚马逊食品评论。
• 大小: 240 MB

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万亚马逊评论。
• 大小: 11 GB

5. ArXiv

• 描述: 存档中的所有论文全文及源文件。
• 大小: 270 GB (全文) + 190 GB (源文件)

6. Classification of political social media

• 描述: 政治社交媒体消息按内容分类。
• 大小: 4 MB

7. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 每年扩展的学生文本语料库，主要用于文体学研究。
• 大小: 请求获取

8. ClueWeb09 FACC

• 描述: ClueWeb09带Freebase注释。
• 大小: 72 GB

9. ClueWeb11 FACC

• 描述: ClueWeb11带Freebase注释。
• 大小: 92 GB

10. Common Crawl Corpus

• 描述: 包含超过50亿网页的网络爬虫数据。
• 大小: 541 TB

11. Cornell Movie Dialog Corpus

• 描述: 从原始电影剧本中提取的大量元数据丰富的虚构对话集合。
• 大小: 9.5 MB

12. Corporate messaging

• 描述: 关于公司在社交媒体上实际谈论内容的数据分类。
• 大小: 600 KB

13. Crosswikis

• 描述: 英语短语与关联维基百科文章的数据库。
• 大小: 11 GB

14. DBpedia

• 描述: 从维基百科中提取的结构化信息。
• 大小: 17 GB

15. Death Row

• 描述: 自1984年以来被执行的每位囚犯的最后遗言。
• 大小: HTML表格

16. Del.icio.us

• 描述: 125万美味书签。
• 大小: 170 MB

17. Diplomacy

• 描述: 来自12场外交游戏的17,000条对话消息，注释了真实性。
• 大小: 3 MB

18. Disasters on social media

• 描述: 10,000条带有灾难事件注释的推文。
• 大小: 2 MB

19. Economic News Article Tone and Relevance

• 描述: 判断是否与美国经济相关的新闻文章及其语气。
• 大小: 12 MB

20. Elsevier OA CC-BY Corpus

• 描述: 40,001篇开放获取全文科学文章，包含完整元数据。
• 大小: 963 MB

21. Enron Email Data

• 描述: 包含151个保管人的1,227,255封电子邮件。
• 大小: 210 GB

22. Event Registry

• 描述: 提供来自全球100,000个新闻出版商的实时新闻文章访问的免费工具。
• 大小: 查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

• 描述: 2010年至2015年由现已关闭的点击诱饵网站The Examiner发布的300万条新闻标题。
• 大小: 200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 来自联邦采购数据中心的联邦合同数据。
• 大小: 180 GB

25. Flickr Personal Taxonomies

• 描述: 个人标签的树数据集。
• 大小: 40 MB

26. Freebase Data Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 26 GB

27. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储。
• 大小: 5 GB

28. Freebase Quad Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 35 GB

29. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客帖子、元数据、用户喜欢。
• 大小: 1.5 GB

30. Google Books Ngrams

• 描述: 谷歌图书中的n-grams数据，也以hadoop格式在亚马逊s3上提供。
• 大小: 2.2 TB

31. Google Web 5gram

• 描述: 包含英语单词n-grams及其观察频率计数。
• 大小: 24 GB

32. Gutenberg Ebook List

• 描述: 电子书的注释列表。
• 大小: 2 MB

33. Hansards text chunks of Canadian Parliament

• 描述: 来自加拿大议会官方记录的130万对对齐文本块。
• 大小: 82 MB

34. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录。
• 大小: 4 GB

35. Hate speech identification

• 描述: 包含近15,000行文本，每行文本有三个贡献者判断是否包含仇恨言论。
• 大小: 3 MB

36. Hillary Clinton Emails [Kaggle]

• 描述: 克林顿的近7,000页经过大量编辑的电子邮件。
• 大小: 12 MB

37. Historical Newspapers Yearly N-grams and Entities Dataset

• 描述: 英国报纸档案库中1,000,000个最频繁的1-, 2-, 和 3-grams的年使用时间序列。
• 大小: 3.1 GB

38. Historical Newspapers Daily Word Time Series Dataset

• 描述: 1836年至1922年间87年的英国和美国历史报纸中25,000个最频繁单词的日常使用时间序列。
• 大小: 2.7 GB

39. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的多个产品和真实客户搜索词。
• 大小: 65 MB

40. Identifying key phrases in text

• 描述: 问题/答案对+上下文；上下文是否与问题/答案相关。
• 大小: 8 MB

41. Jeopardy

• 描述: 216,930个过去的Jeopardy问题存档。
• 大小: 53 MB

42. 200k English plaintext jokes

• 描述: 来自各种来源的208,000个纯文本笑话存档。
• 大小: 请求获取

43. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译。
• 大小: 612 MB

44. Material Safety Datasheets

• 描述: 230,000份材料安全数据表。
• 大小: 3 GB

45. Million News Headlines - ABC Australia [Kaggle]

• 描述: 2003年至2017年ABC新闻澳大利亚发布的130万条新闻标题。
• 大小: 56 MB

46. Millions of News Article URLs

• 描述: 2014年10月至2015年4月期间来自950多个英语新闻网站的230万个新闻文章URL。
• 大小: 101 MB

47. News Headlines of India - Times of India [Kaggle]

• 描述: 2001年至2017年印度时报发布的270万条新闻标题。
• 大小: 185 MB

48. News article / Wikipedia page pairings

• 描述: 贡献者阅读一篇短文，并被要求判断它与哪篇维基百科文章最匹配。
• 大小: 6 MB

49. NIPS2015 Papers (version 2) [Kaggle]

• 描述: NIPS2015会议的所有论文全文。
• 大小: 335 MB

50. NYTimes Facebook Data

• 描述: 所有纽约时报的Facebook帖子。
• 大小: 5 MB

51. One Week of Global News Feeds [Kaggle]

• 描述: 2017年8月一周内全球发布的140万篇文章的新闻事件数据集。
• 大小: 115 MB

52. Objective truths of sentences/concept pairs

• 描述: 贡献者阅读包含两个概念的句子，并被要求判断句子是否可能为真，并按1-5级评分。
• 大小: 700 KB

53. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储。
• 大小: 16 GB

54. Personae Corpus

• 描述: 用于作者归属和个性预测实验的145个荷兰语学生论文语料库。
• 大小: 请求获取

55. Reddit Comments

• 描述: 截至2015年7月的所有公开Reddit评论。
• 大小: 250 GB

56. Reddit Comments (May ‘15) [Kaggle]

• 描述: 上述数据集的子集。
• 大小: 8 GB

57. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月31日的所有公开Reddit提交。
• 大小: 42 GB

58. Reuters Corpus

• 描述: 用于自然语言处理、信息检索和机器学习系统研究和开发的大量路透社新闻故事。
• 大小: 2.5 GB

59. SMS Spam Collection

• 描述: 5,574条英语、真实且非编码的SMS消息，标记为合法(ham)或垃圾邮件(spam)。
• 大小: 200 KB

60. SouthparkData

• 描述: 包含季节、剧集、角色和台词的.csv文件。
• 大小: 3.6 MB

61. Stanford Question Answering Dataset (SQUAD 2.0)

• 描述: 阅读理解数据集，包含人群工作者在维基百科文章上提出的问题，答案为阅读段落中的文本段或无法回答的问题。

62. Stackoverflow

• 描述: 730万Stackoverflow问题及其他StackExchange站点。
• 大小: 查询工具

63. Twitter Cheng-Caverlee-Lee Scrape

• 描述: 2009年9月至2010年1月期间的地理定位推文。
• 大小: 400 MB

64. Twitter New England Patriots Deflategate sentiment

• 描述: 2015年超级碗前关于放气足球和爱国者队是否作弊的Twitter情绪数据。
• 大小: 2 MB

65. Twitter Progressive issues sentiment analysis

• 描述: 关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
• 大小: 600 KB

66. Twitter Sentiment140

• 描述: 与品牌/关键词相关的推文。
• 大小: 77 MB

67. Twitter sentiment analysis: Self-driving cars

• 描述: 贡献者阅读推文并将其分类为非常积极、稍微积极、中性、稍微消极或非常消极，并标记是否与自动驾驶汽车无关。
• 大小: 1 MB

68. Twitter Elections Integrity

• 描述: 2016年美国选举期间的所有可疑推文和媒体。
• 大小: 1.4 GB

69. Twitter Tokyo Geolocated Tweets

• 描述: 东京的20万条地理定位推文。
• 大小: 47 MB

70. Twitter UK Geolocated Tweets

• 描述: 英国的17万条地理定位推文。
• 大小: 47 MB

71. Twitter USA Geolocated Tweets

• 描述: 美国的20万条地理定位推文。
• 大小: 45 MB

72. Twitter US Airline Sentiment [Kaggle]

• 描述: 关于美国主要航空公司问题的情感分析工作。
• 大小: 2.5 MB

73. U.S. economic performance based on news articles

• 描述: 新闻文章标题和摘录是否与美国经济相关。
• 大小: 5 MB

74. Urban Dictionary Words and Definitions [Kaggle]

• 描述: 2016年5月所有Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
• 大小: 238 MB

75. Wesbury Lab Usenet Corpus

• 描述: 2005-2010年来自47,860个英语新闻组的匿名汇编。
• 大小: 40 GB

76. Wesbury Lab Wikipedia Corpus

• 描述: 2010年4月英语维基百科文章的快照，处理以去除所有链接和无关材料。
• 大小: 1.8 GB

77. WorldTree Corpus of Explanation Graphs for Elementary Science Questions

• 描述: 为美国公开可用的小学科学考试问题构建的解释图语料库。
• 大小: 8 MB

78. Wikipedia Extraction (WEX)

• 描述: 英语维基百科的处理转储。
• 大小: 66 GB

79. Wikipedia XML Data

• 描述: 所有维基媒体wiki的完整副本，以wikitext源和嵌入XML中的元数据形式。
• 大小: 500 GB

80. Yahoo! Answers Comprehensive Questions and Answers

• 描述: 2007年10月25日的雅虎答案语料库。
• 大小: 3.6 GB

81. Yahoo! Answers consisting of questions asked in French

• 描述: 2006年至2015年雅虎答案语料库的子集，包含170万个用法语提出的问题及其答案。
• 大小: 3.8 GB

82. Yahoo! Answers Manner Questions

• 描述: 2007年10月25日转储的雅虎答案语料库子集，选定用于其语言属性。
• 大小: 104 MB

83. Yahoo! HTML Forms Extracted from Publicly Available Webpages

• 描述: 包含复杂HTML表单的小样本页面。
• 大小: 50+ GB

84. Yahoo! Metadata Extracted from Publicly Available Web Pages

• 描述: 1亿个RDF数据三元组。
• 大小: 2 GB

85. Yahoo N-Gram Representations

• 描述: 包含n-gram表示的数据集。
• 大小: 2.6 GB

86. Yahoo! N-Grams, version 2.0

• 描述: 从1460万份文档中提取的n-grams（n = 1到5）。
• 大小: 12 GB

87. Yahoo! Search Logs with Relevance Judgments

• 描述: 带有相关性判断的匿名雅虎搜索日志。
• 大小: 1.3 GB

88. Yahoo! Semantically Annotated Snapshot of the English Wikipedia

• 描述: 2006年11月4日处理的英语维基百科快照，使用多个公开可用的NLP工具。
• 大小: 6 GB

89. Yelp

• 描述: 包括餐厅排名和220万条评论。
• **大小

搜集汇总

数据集介绍

构建方式

nlp-datasets 数据集通过整合多个公开的自然语言处理（NLP）相关数据集构建而成，涵盖了从社交媒体文本、新闻文章到学术论文等多种类型的文本数据。这些数据主要来源于公开的邮件存档、博客文章、亚马逊评论、维基百科数据等，部分数据集还通过众包平台进行标注，确保了数据的多样性和广泛性。数据集的构建过程注重数据的原始性和结构化，部分数据经过预处理以方便研究者直接使用。

特点

nlp-datasets 数据集的特点在于其广泛的数据来源和多样的文本类型，涵盖了从短文本（如推文、短信）到长文本（如学术论文、新闻文章）的多种形式。数据集中的文本数据不仅包括原始的非结构化文本，还包含部分经过标注的语料库，适用于文本分类、情感分析、机器翻译等多种NLP任务。此外，数据集的规模从几兆字节到数百吉字节不等，能够满足不同规模的研究需求。

使用方法

nlp-datasets 数据集的使用方法灵活多样，研究者可以根据具体任务选择合适的数据子集进行实验。对于文本分类任务，可以使用标注好的数据集如亚马逊评论或社交媒体情感分析数据；对于语言模型训练，可以选择大规模的原始文本数据如维基百科或新闻文章。数据集通常以CSV、JSON或XML格式提供，便于直接加载到常见的机器学习框架中进行处理和分析。此外，部分数据集还提供了API接口，方便实时数据获取。

背景与挑战

背景概述

nlp-datasets 是一个专门为自然语言处理（NLP）研究提供免费或公共领域文本数据集的资源集合。该数据集由多个独立的数据源组成，涵盖了从电子邮件存档、社交媒体内容到新闻文章和科学文献等多种类型的文本数据。这些数据集的创建时间跨度较大，最早的如Blog Authorship Corpus可追溯至2004年，而最新的数据集则持续更新至近年。这些数据集的主要研究人员和机构包括斯坦福大学、亚马逊、Kaggle等知名学术和商业机构。这些数据集的核心研究问题集中在文本分类、情感分析、机器翻译、信息检索等NLP领域的多个方面，对推动自然语言处理技术的发展和应用具有重要影响。

当前挑战

nlp-datasets 面临的挑战主要体现在两个方面。首先，在领域问题方面，尽管这些数据集为NLP研究提供了丰富的资源，但由于数据来源的多样性和复杂性，如何有效整合和利用这些数据仍然是一个难题。例如，不同数据集的标注标准、语言风格和数据格式差异较大，这给模型的训练和评估带来了挑战。其次，在数据构建过程中，数据收集、清洗和标注的复杂性也是一个主要挑战。许多数据集依赖于众包平台进行标注，这可能导致标注质量的不一致性。此外，部分数据集的规模庞大，存储和处理这些数据需要大量的计算资源和时间，进一步增加了研究的难度。

常用场景

经典使用场景

nlp-datasets广泛用于自然语言处理（NLP）领域的研究与开发，尤其是在文本分类、情感分析、机器翻译和语言模型训练等任务中。例如，Amazon Fine Food Reviews数据集常用于情感分析，帮助研究者理解用户对产品的评价；而Cornell Movie Dialog Corpus则被用于对话系统的开发，模拟电影角色之间的对话。这些数据集为NLP算法的训练和评估提供了丰富的文本资源。

解决学术问题

nlp-datasets解决了NLP领域中的多个关键学术问题。例如，通过Enron Email Data，研究者可以分析大规模电子邮件数据中的信息提取和主题建模问题；而Stanford Question Answering Dataset (SQuAD 2.0)则为阅读理解任务提供了标准化的评估基准，推动了问答系统的发展。这些数据集不仅为算法提供了训练数据，还为模型的性能评估提供了可靠的基准。

衍生相关工作

nlp-datasets催生了大量经典研究工作。例如，基于Google Books Ngrams的研究揭示了语言演变的规律；而使用Reddit Comments数据集的社交网络分析研究则深入探讨了在线社区的互动模式。此外，SQuAD数据集推动了问答系统的技术进步，衍生出BERT、GPT等预训练语言模型，极大地提升了NLP任务的性能。