nlp-datasets

包含自然语言处理（NLP）领域免费/公共域文本数据集的字母顺序列表。大多数数据集包含原始非结构化文本数据，如果需要注释语料库或树库，请参考底部的来源。

An alphabetical list of free/public domain text datasets in the field of Natural Language Processing (NLP). Most datasets contain raw unstructured text data; for annotated corpora or treebanks, please refer to the sources listed at the bottom.

原始信息汇总

数据集概述

自然语言处理（NLP）相关数据集列表

本列表包含多种自然语言处理（NLP）领域使用的免费/公共域文本数据集，主要为英语，部分支持多语言。以下是部分数据集的详细信息：

1. Apache Software Foundation Public Mail Archives

   • 描述: 包含截至2011年7月11日的所有公开Apache软件基金会邮件存档。
   • 大小: 200 GB

2. Blog Authorship Corpus

   • 描述: 收集自2004年8月的19,320名博主的帖子，包含681,288篇帖子和超过140百万单词。
   • 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

   • 描述: 包含截至2012年10月的568,454条亚马逊用户对食品的评论。
   • 大小: 240 MB

4. Amazon Reviews

   • 描述: 斯坦福大学收集的3500万亚马逊评论。
   • 大小: 11 GB

5. ArXiv

   • 描述: 包含arXiv上的所有论文全文及源文件。
   • 大小: 270 GB + 190 GB

6. ASAP Automated Essay Scoring [Kaggle]

   • 描述: 包含八个作文集，每集由单一提示生成，作文由7至10年级学生撰写，均经过手工评分和双评分。
   • 大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

   • 描述: 包含由单一提示生成的数据集，平均每篇响应长度为50字，主要由10年级学生撰写，均经过手工评分和双评分。
   • 大小: 35 MB

8. Classification of political social media

   • 描述: 政治社交媒体消息按内容分类。
   • 大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

   • 描述: 用于作者归属和个性预测实验的荷兰语学生文本语料库。
   • 大小: 需请求

10. ClueWeb09 FACC

    • 描述: ClueWeb09数据集，带有Freebase注释。
    • 大小: 72 GB

11. ClueWeb11 FACC

    • 描述: ClueWeb11数据集，带有Freebase注释。
    • 大小: 92 GB

12. Common Crawl Corpus

    • 描述: 包含超过50亿网页的网络爬虫数据。
    • 大小: 541 TB

13. Cornell Movie Dialog Corpus

    • 描述: 包含从电影剧本中提取的大量元数据丰富的虚构对话集合。
    • 大小: 9.5 MB

14. Corporate messaging

    • 描述: 关于公司在社交媒体上实际讨论内容的数据分类。
    • 大小: 600 KB

15. Crosswikis

    • 描述: 英语短语到关联维基百科文章的数据库。
    • 大小: 11 GB

16. DBpedia

    • 描述: 从维基百科中提取的结构化信息，使其在网络上可用。
    • 大小: 17 GB

17. Death Row

    • 描述: 自1984年以来被执行的每个囚犯的最后遗言。
    • 大小: HTML表格

18. Del.icio.us

    • 描述: 125万美味书签。
    • 大小: 170 MB

19. Disasters on social media

    • 描述: 10,000条带有灾难事件参考的推文。
    • 大小: 2 MB

20. Economic News Article Tone and Relevance

    • 描述: 判断新闻文章是否与美国经济相关及其语气。
    • 大小: 12 MB

21. Enron Email Data

    • 描述: 包含1,227,255封电子邮件，涵盖151个保管人。
    • 大小: 210 GB

22. Event Registry

    • 描述: 提供对全球100,000家新闻出版商实时新闻文章的访问。
    • 大小: 查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

    • 描述: 2010年至2015年由现已关闭的点击诱饵网站The Examiner发布的300万条新闻标题。
    • 大小: 200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

    • 描述: 来自联邦采购数据中心的联邦合同数据。
    • 大小: 180 GB

25. Flickr Personal Taxonomies

    • 描述: 个人标签的树形数据集。
    • 大小: 40 MB

26. Freebase Data Dump

    • 描述: 包含Freebase中的所有当前事实和断言。
    • 大小: 26 GB

27. Freebase Simple Topic Dump

    • 描述: 包含Freebase中每个主题的基本识别事实。
    • 大小: 5 GB

28. Freebase Quad Dump

    • 描述: 包含Freebase中的所有当前事实和断言。
    • 大小: 35 GB

29. GigaOM Wordpress Challenge [Kaggle]

    • 描述: 博客文章、元数据、用户点赞。
    • 大小: 1.5 GB

30. Google Books Ngrams

    • 描述: 可在Amazon S3上以Hadoop格式使用的Google Books Ngrams。
    • 大小: 2.2 TB

31. Google Web 5gram

    • 描述: 包含英语单词n-grams及其观察频率计数。
    • 大小: 24 GB

32. Gutenberg Ebook List

    • 描述: 带注释的电子书列表。
    • 大小: 2 MB

33. Hansards text chunks of Canadian Parliament

    • 描述: 来自加拿大议会官方记录的130万对对齐文本块。
    • 大小: 82 MB

34. Harvard Library

    • 描述: 哈佛图书馆持有的超过1200万条书目记录。
    • 大小: 4 GB

35. Hate speech identification

    • 描述: 包含近15,000行文本，每行文本有三个贡献者判断是否包含仇恨言论、冒犯性言论或无冒犯性。
    • 大小: 3 MB

36. Hillary Clinton Emails [Kaggle]

    • 描述: 包含近7,000页克林顿的严重编辑过的电子邮件。
    • 大小: 12 MB

37. Historical Newspapers Yearly N-grams and Entities Dataset

    • 描述: 包含英国报纸档案库中1,000,000个最频繁的1-, 2-, 3-grams的年使用时间序列，以及100,000个最频繁的命名实体链接至维基百科。
    • 大小: 3.1 GB

38. Historical Newspapers Daily Word Time Series Dataset

    • 描述: 1836年至1922年间87年的英国和美国历史报纸中25,000个最频繁单词的每日使用时间序列。
    • 大小: 2.7 GB

39. Home Depot Product Search Relevance [Kaggle]

    • 描述: 包含Home Depot网站上的多个产品和真实客户搜索词。
    • 大小: 65 MB

40. Identifying key phrases in text

    • 描述: 问题/答案对+上下文；上下文是否与问题/答案相关。
    • 大小: 8 MB

41. Jeopardy

    • 描述: 包含216,930个过去的Jeopardy问题。
    • 大小: 53 MB

42. 200k English plaintext jokes

    • 描述: 包含来自各种来源的208,000个纯文本笑话。
    • 大小: GitHub存储库

43. Machine Translation of European Languages

    • 描述: 欧洲语言的机器翻译。
    • 大小: 612 MB

44. Material Safety Datasheets

    • 描述: 230,000份材料安全数据表。
    • 大小: 3 GB

45. Million News Headlines - ABC Australia [Kaggle]

    • 描述: 2003年至2017年ABC新闻澳大利亚发布的130万条新闻标题。
    • 大小: 56 MB

46. Millions of News Article URLs

    • 描述: 2014年10月至2015年4月期间950多家英语新闻网站首页的230万个新闻文章URL。
    • 大小: 101 MB

47. MCTest

    • 描述: 包含660个故事及其相关问题，用于机器文本理解研究。
    • 大小: 1 MB

48. News Headlines of India - Times of India [Kaggle]

    • 描述: 2001年至2017年印度时报发布的270万条新闻标题。
    • 大小: 185 MB

49. News article / Wikipedia page pairings

    • 描述: 贡献者阅读短文章并被要求判断哪个维基百科页面与之最匹配。
    • 大小: 6 MB

50. NIPS2015 Papers (version 2) [Kaggle]

    • 描述: 包含所有NIPS2015论文的全文。
    • 大小: 335 MB

51. NYTimes Facebook Data

    • 描述: 所有纽约时报的Facebook帖子。
    • 大小: 5 MB

52. One Week of Global News Feeds [Kaggle]

    • 描述: 2017年8月一周内全球20种语言发布的140万篇文章。
    • 大小: 115 MB

53. Objective truths of sentences/concept pairs

    • 描述: 贡献者阅读包含两个概念的句子，并被要求判断句子是否可能为真，并按1-5级评分。
    • 大小: 700 KB

54. Open Library Data Dumps

    • 描述: 包含Open Library中所有记录的所有修订的转储。
    • 大小: 16 GB

55. Personae Corpus

    • 描述: 用于作者归属和个性预测实验的荷兰语学生文本语料库。
    • 大小: 需请求

56. Reddit Comments

    • 描述: 截至2015年7月的所有公开Reddit评论。
    • 大小: 250 GB

57. Reddit Comments (May ‘15) [Kaggle]

    • 描述: 上述数据集的子集。
    • 大小: 8 GB

58. Reddit Submission Corpus

    • 描述: 2006年1月至2015年8月31日的所有公开Reddit提交。
    • 大小: 42 GB

59. Reuters Corpus

    • 描述: 用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
    • 大小: 2.5 GB

60. SMS Spam Collection

    • 描述: 5,574条英语、真实且非编码的SMS消息，标记为合法（ham）或垃圾邮件（spam）。
    • 大小: 200 KB

61. SouthparkData

    • 描述: 包含季节、剧集、角色和台词的脚本信息。
    • 大小: 3.6 MB

62. Stanford Question Answering Dataset (SQUAD 2.0)

    • 描述: 阅读理解数据集，包含由众包工作者在维基百科文章上提出的问题，答案为文本段落或无法回答的问题。
    • 大小: 需请求

63. Stackoverflow

    • 描述: 730万条Stackoverflow问题及其他StackExchange站点。
    • 大小: 查询工具

64. Twitter Cheng-Caverlee-Lee Scrape

    • 描述: 2009年9月至2010年1月期间的地理定位推文。
    • 大小: 400 MB

65. Twitter New England Patriots Deflategate sentiment

    • 描述: 2015年超级碗前关于放气足球和爱国者队是否作弊的Twitter情绪分析。
    • 大小: 2 MB

66. Twitter Progressive issues sentiment analysis

    • 描述: 关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
    • 大小: 600 KB

67. Twitter Sentiment140

    • 描述: 与品牌/关键词相关的推文。
    • 大小: 77 MB

68. Twitter sentiment analysis: Self-driving cars

    • 描述: 贡献者阅读推文并分类为非常积极、稍微积极、中性、稍微消极或非常消极，并标记是否与自动驾驶汽车无关。
    • 大小: 1 MB

69. Twitter Elections Integrity

    • 描述: 2016年美国选举期间的所有可疑推文和媒体。
    • 大小: 1.4 GB

70. Twitter Tokyo Geolocated Tweets

    • 描述: 东京的20万条推文。
    • 大小: 47 MB

71. Twitter UK Geolocated Tweets

    • 描述: 英国的17万条推文。
    • 大小: 47 MB

72. Twitter USA Geolocated Tweets

    • 描述: 美国的20万条推文。
    • 大小: 45 MB

73. Twitter US Airline Sentiment [Kaggle]

    • 描述: 关于美国主要航空公司问题的情绪分析工作，包括分类为积极、消极或中性，以及负面原因的分类。
    • 大小: 2.5 MB

74. U.S. economic performance based on news articles

    • 描述: 新闻文章标题和摘录，判断是否与美国经济相关。
    • 大小: 5 MB

75. Urban Dictionary Words and Definitions [Kaggle]

    • 描述: 2016年5月Urban Dictionary的所有单词、定义、作者、投票的清理CSV语料库。
    • 大小: 238 MB

76. Wesbury Lab Usenet Corpus

    • 描述: 2005-2010年来自47,860个英语新闻组的匿名帖子。
    • 大小: 40 GB

77. Wesbury Lab Wikipedia Corpus

    • 描述: 2010年4月英语维基百科文章的快照，处理后移除了所有链接和无关材料。
    • 大小: 1.8 GB

78. WorldTree Corpus of Explanation Graphs for Elementary Science Questions

    • 描述: 包含为美国公开可用的所有小学科学考试问题手动构建的解释图、解释角色评级和相关的半结构化表格存储。
    • 大小: 8 MB

79. Wikipedia Extraction (WEX)

    • 描述: 英语维基百科的加工转储。
    • 大小: 66 GB

80. Wikipedia XML Data

    • 描述: 所有维基媒体维基的完整副本，以wikitext源和嵌入在XML中的元数据形式。
    • 大小: 500 GB

81. Yahoo! Answers Comprehensive Questions and Answers

    • 描述: 截至2007年10月25日的雅虎答案语料库，包含4,483,032个问题及其答案。
    • 大小: 3.6 GB

82. Yahoo! Answers consisting of questions asked in French

    • 描述: 2006年至2015年雅虎答案

搜集汇总

数据集介绍

构建方式

nlp-datasets 是一个全面的数据集列表，涵盖了自然语言处理领域常用的文本数据。该数据集的构建主要通过收集和整理网络上公开的、免费的文本数据，包括但不限于邮件存档、博客文章、产品评论、论文等，旨在为自然语言处理研究提供丰富的数据资源。

特点

nlp-datasets 的特点在于其数据的多样性和全面性。它包含了英语和其他语言的文本数据，涵盖了从邮件存档到社交媒体帖子等不同类型的数据源。此外，数据集还包括了经过标注的语料库，适用于各种自然语言处理任务，如文本分类、情感分析等。

使用方法

使用 nlp-datasets 数据集时，用户可以根据自己的研究需求选择合适的数据集。数据集通常以压缩文件的形式提供，用户需要解压后进行使用。对于带标注的数据集，可以直接用于模型训练和评估；对于未标注的数据集，可能需要进行预处理和标注后才能使用。

背景与挑战

背景概述

nlp-datasets是一个免费/公共领域的文本数据集列表，专注于自然语言处理（NLP）领域。该数据集涵盖了从纯文本数据到经过注释的语料库或树库等多种类型，旨在为NLP研究和开发提供丰富的资源。创建于2011年，该数据集由Alphabetical列表构成，包含了诸如Apache软件基金会公共邮件存档、博客作者ship语料库、亚马逊美食评论等众多子数据集，对NLP领域产生了深远的影响。

当前挑战

nlp-datasets在构建过程中遇到的挑战主要包括数据的多样性和规模性。首先，数据集涵盖了多种语言和来源，这要求在整合和预处理过程中考虑到跨语言的兼容性和统一性。其次，大规模的数据集如Common Crawl Corpus和Google Books Ngrams对存储和计算资源提出了较高的要求。此外，构建过程中还需确保数据的准确性和可靠性，以及合法获取和使用这些数据集，尤其是在涉及个人隐私和版权问题时。

常用场景

经典使用场景

nlp-datasets数据集被广泛应用于自然语言处理领域，其经典使用场景包括构建语言模型、文本分类、情感分析、信息抽取等任务。该数据集涵盖了多种类型的文本数据，如邮件档案、博客文章、产品评论、新闻头条等，为研究人员提供了丰富的语料资源。

实际应用

在实际应用中，nlp-datasets的数据被用于改进搜索引擎、推荐系统、客户服务聊天机器人等。这些应用通过分析用户生成的内容，能够提供更加精准的搜索结果、个性化的推荐以及更自然的交互体验。

衍生相关工作

基于nlp-datasets的数据集，衍生出了许多相关的研究工作。例如，研究人员利用这些数据进行语言模型预训练，发展出了新的文本生成算法；在文本分类任务中，提出了更有效的特征提取方法；在情感分析方面，开发了新的模型架构以提高预测准确率。