nlp-datasets

包含自然语言处理(NLP)使用的免费/公共领域文本数据集的字母顺序列表。

An alphabetical list of free/public domain text datasets used for Natural Language Processing (NLP).

原始信息汇总

数据集概述

自然语言处理（NLP）数据集列表

本数据集列表包含多种自然语言处理相关的文本数据集，主要为英语，部分支持多语言。以下是部分数据集的详细信息：

1. Apache Software Foundation Public Mail Archives

   • 描述：所有公开的Apache软件基金会邮件档案，截至2011年7月11日。
   • 大小：200 GB

2. Blog Authorship Corpus

   • 描述：收集自blogger.com的19,320名博主的帖子，2004年8月。
   • 大小：298 MB

3. Amazon Fine Food Reviews [Kaggle]

   • 描述：亚马逊用户截至2012年10月的568,454条食品评论。
   • 大小：240 MB

4. Amazon Reviews

   • 描述：斯坦福大学收集的3500万条亚马逊评论。
   • 大小：11 GB

5. ArXiv

   • 描述：arXiv档案中的所有论文全文及源文件。
   • 大小：270 GB + 190 GB

6. ASAP Automated Essay Scoring [Kaggle]

   • 描述：八组学生作文，用于自动评分竞赛。
   • 大小：100 MB

7. ASAP Short Answer Scoring [Kaggle]

   • 描述：每组数据由单个提示生成，主要由10年级学生撰写。
   • 大小：35 MB

8. Classification of political social media

   • 描述：政治社交媒体消息的内容分类。
   • 大小：4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

   • 描述：用于文体学研究的年度扩展学生文本语料库。
   • 大小：需请求

10. ClueWeb09 FACC

    • 描述：ClueWeb09数据集，带有Freebase注释。
    • 大小：72 GB

11. ClueWeb11 FACC

    • 描述：ClueWeb11数据集，带有Freebase注释。
    • 大小：92 GB

12. Common Crawl Corpus

    • 描述：包含超过50亿网页的网络爬虫数据。
    • 大小：541 TB

13. Cornell Movie Dialog Corpus

    • 描述：包含617部电影中的220,579次对话交换。
    • 大小：9.5 MB

14. Corporate messaging

    • 描述：关于公司在社交媒体上实际讨论内容的数据分类。
    • 大小：600 KB

15. Crosswikis

    • 描述：英语短语与相关维基百科文章的数据库。
    • 大小：11 GB

16. DBpedia

    • 描述：从维基百科中提取的结构化信息。
    • 大小：17 GB

17. Death Row

    • 描述：自1984年以来被执行的每位囚犯的最后遗言。
    • 大小：HTML表格

18. Del.icio.us

    • 描述：125万条美味书签。
    • 大小：170 MB

19. Disasters on social media

    • 描述：10,000条带有灾难事件标注的推文。
    • 大小：2 MB

20. Economic News Article Tone and Relevance

    • 描述：1951至2014年间的新闻文章，判断其与美国经济的关联及语气。
    • 大小：12 MB

21. Enron Email Data

    • 描述：包含1,227,255封电子邮件，覆盖151名保管人。
    • 大小：210 GB

22. Event Registry

    • 描述：实时访问全球100,000家新闻出版商的新闻文章。
    • 大小：查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

    • 描述：2010至2015年间The Examiner发布的300万条新闻标题。
    • 大小：200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

    • 描述：美国联邦采购数据中心的联邦合同数据。
    • 大小：180 GB

25. Flickr Personal Taxonomies

    • 描述：个人标签的树形数据集。
    • 大小：40 MB

26. Freebase Data Dump

    • 描述：Freebase中的所有当前事实和断言。
    • 大小：26 GB

27. Freebase Simple Topic Dump

    • 描述：Freebase中每个主题的基本识别事实。
    • 大小：5 GB

28. Freebase Quad Dump

    • 描述：Freebase中的所有当前事实和断言。
    • 大小：35 GB

29. GigaOM Wordpress Challenge [Kaggle]

    • 描述：博客文章、元数据、用户点赞。
    • 大小：1.5 GB

30. Google Books Ngrams

    • 描述：Google图书中的n-grams数据，也可在Amazon S3上以Hadoop格式获取。
    • 大小：2.2 TB

31. Google Web 5gram

    • 描述：包含英语单词n-grams及其观察频率计数。
    • 大小：24 GB

32. Gutenberg Ebook List

    • 描述：古腾堡电子书列表。
    • 大小：2 MB

33. Hansards text chunks of Canadian Parliament

    • 描述：加拿大议会官方记录中的130万对对齐文本块。
    • 大小：82 MB

34. Harvard Library

    • 描述：哈佛图书馆持有的超过1200万条书目记录。
    • 大小：4 GB

35. Hate speech identification

    • 描述：短文本内容，识别是否包含仇恨言论或攻击性语言。
    • 大小：3 MB

36. Hillary Clinton Emails [Kaggle]

    • 描述：希拉里·克林顿的近7000页电子邮件。
    • 大小：12 MB

37. Historical Newspapers Yearly N-grams and Entities Dataset

    • 描述：英国报纸档案语料库中1,000,000个最频繁的1-, 2-, 3-grams以及100,000个最频繁的命名实体的年度时间序列。
    • 大小：3.1 GB

38. Historical Newspapers Daily Word Time Series Dataset

    • 描述：1836至1922年间87年的英国和美国历史报纸中25,000个最频繁单词的每日使用时间序列。
    • 大小：2.7 GB

39. Home Depot Product Search Relevance [Kaggle]

    • 描述：Home Depot网站上的产品和真实客户搜索词，预测相关性得分。
    • 大小：65 MB

40. Identifying key phrases in text

    • 描述：问题/答案对+上下文，判断上下文是否与问题/答案相关。
    • 大小：8 MB

41. Jeopardy

    • 描述：216,930个Jeopardy问题存档。
    • 大小：53 MB

42. 200k English plaintext jokes

    • 描述：来自各种来源的208,000个纯文本笑话。
    • 大小：未提供

43. Machine Translation of European Languages

    • 描述：欧洲语言的机器翻译数据。
    • 大小：612 MB

44. Material Safety Datasheets

    • 描述：230,000份材料安全数据表。
    • 大小：3 GB

45. Million News Headlines - ABC Australia [Kaggle]

    • 描述：ABC新闻澳大利亚2003至2017年间发布的130万条新闻标题。
    • 大小：56 MB

46. Millions of News Article URLs

    • 描述：2014年10月至2015年4月间950多家英语新闻网站首页的230万个新闻文章URL。
    • 大小：101 MB

47. MCTest

    • 描述：用于机器理解的660个故事和相关问题集。
    • 大小：1 MB

48. News Headlines of India - Times of India [Kaggle]

    • 描述：2001至2017年间《印度时报》发布的270万条新闻标题。
    • 大小：185 MB

49. News article / Wikipedia page pairings

    • 描述：新闻文章与维基百科页面配对。
    • 大小：6 MB

50. NIPS2015 Papers (version 2) [Kaggle]

    • 描述：NIPS2015会议的所有论文全文。
    • 大小：335 MB

51. NYTimes Facebook Data

    • 描述：《纽约时报》的所有Facebook帖子。
    • 大小：5 MB

52. One Week of Global News Feeds [Kaggle]

    • 描述：2017年8月一周内全球20种语言发布的140万篇文章。
    • 大小：115 MB

53. Objective truths of sentences/concept pairs

    • 描述：句子/概念对的客观真实性评估。
    • 大小：700 KB

54. Open Library Data Dumps

    • 描述：Open Library中所有记录的所有修订的转储。
    • 大小：16 GB

55. Personae Corpus

    • 描述：用于作者归属和个性预测的145篇荷兰语学生论文。
    • 大小：需请求

56. Reddit Comments

    • 描述：2015年7月为止的所有公开Reddit评论。
    • 大小：250 GB

57. Reddit Comments (May ‘15) [Kaggle]

    • 描述：上述数据集的子集。
    • 大小：8 GB

58. Reddit Submission Corpus

    • 描述：2006年1月至2015年8月31日的所有公开Reddit提交。
    • 大小：42 GB

59. Reuters Corpus

    • 描述：用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
    • 大小：2.5 GB

60. SMS Spam Collection

    • 描述：5,574条英语真实非编码短信，标记为合法或垃圾邮件。
    • 大小：200 KB

61. SouthparkData

    • 描述：包含季节、集数、角色和台词的南方公园脚本信息。
    • 大小：3.6 MB

62. Stanford Question Answering Dataset (SQUAD 2.0)

    • 描述：阅读理解数据集，包含由众包工作者在维基百科文章上提出的问题，答案为文本片段或无法回答的问题。
    • 大小：未提供

63. Stackoverflow

    • 描述：730万条Stack Overflow问题及其他Stack Exchange问题。
    • 大小：查询工具

64. Twitter Cheng-Caverlee-Lee Scrape

    • 描述：2009年9月至2010年1月期间的推文，地理位置定位。
    • 大小：400 MB

65. Twitter New England Patriots Deflategate sentiment

    • 描述：2015年超级碗前关于放气足球和爱国者队是否作弊的Twitter情绪分析。
    • 大小：2 MB

66. Twitter Progressive issues sentiment analysis

    • 描述：关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
    • 大小：600 KB

67. Twitter Sentiment140

    • 描述：与品牌/关键词相关的推文。
    • 大小：77 MB

68. Twitter sentiment analysis: Self-driving cars

    • 描述：关于自动驾驶汽车的推文，分类为非常积极、稍微积极、中性、稍微消极或非常消极。
    • 大小：1 MB

69. Twitter Elections Integrity

    • 描述：2016年美国选举中的所有可疑推文和媒体。
    • 大小：1.4 GB

70. Twitter Tokyo Geolocated Tweets

    • 描述：东京的200,000条地理位置定位推文。
    • 大小：47 MB

71. Twitter UK Geolocated Tweets

    • 描述：英国的170,000条地理位置定位推文。
    • 大小：47 MB

72. Twitter USA Geolocated Tweets

    • 描述：美国的200,000条地理位置定位推文。
    • 大小：45 MB

73. Twitter US Airline Sentiment [Kaggle]

    • 描述：美国主要航空公司的情绪分析工作，包括分类积极、消极和中性推文，以及消极原因。
    • 大小：2.5 MB

74. U.S. economic performance based on news articles

    • 描述：新闻文章标题和摘录，排名是否与美国经济相关。
    • 大小：5 MB

75. Urban Dictionary Words and Definitions [Kaggle]

    • 描述：2016年5月为止的所有Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
    • 大小：238 MB

76. Wesbury Lab Usenet Corpus

    • 描述：2005-2010年间47,860个英语新闻组的匿名汇编。
    • 大小：40 GB

77. Wesbury Lab Wikipedia Corpus

    • 描述：2010年4月英语维基百科文章的快照，处理后移除了所有链接和无关材料。
    • 大小：1.8 GB

78. WorldTree Corpus of Explanation Graphs for Elementary Science Questions

    • 描述：为美国公开可用的小学科学考试问题构建的解释图语料库。
    • 大小：8 MB

79. Wikipedia Extraction (WEX)

    • 描述：英语维基百科的加工转储。
    • 大小：66 GB

80. Wikipedia XML Data

    • 描述：所有维基媒体维基的完整副本，形式为wikitext源和嵌入XML的元数据。
    • 大小：500 GB

81. Yahoo! Answers Comprehensive Questions and Answers

    • 描述：2007年10月25日的雅虎答案语料库，包含4,483,032个问题及其答案。
    • 大小：3.6 GB

82. Yahoo! Answers consisting of questions asked in French

    • 描述：2006至2015年间170万个用法语提问的问题及其相应的答案。
    • 大小：3.8 GB

83. Yahoo! Answers Manner Questions

    • 描述：2007年10月25日转储的雅虎答案语料库子集，包含142,627个问题及其答案。
    • 大小：104 MB

84. Yahoo! HTML Forms Extracted from Publicly Available Webpages

    • 描述：从公开可用的网页中提取的复杂HTML表单的小样本，包含2.67百万个复杂表单。
    • 大小：50+ GB

85. Yahoo! Metadata Extracted from Publicly Available Web Pages

    • 描述：从公开可用的网页中提取的1亿个RDF数据三元组。
    • 大小：2 GB

86. Yahoo N-Gram Representations

    • 描述：包含n-gram表示的数据集，可用于查询重写任务和词句相似性任务。
    • 大小：2.6 GB

87. Yahoo! N-Grams, version 2.0

    • 描述：从14.6百万文档中提取的n-grams（n=1至5

搜集汇总

数据集介绍

构建方式

nlp-datasets数据集的构建汇集了多种自然语言处理领域常用的文本数据，包括但不限于邮件档案、博客文章、产品评论、论文档案等。这些数据大多为原始的非结构化文本，部分经过预处理，如分词、标注等，以适应不同的NLP研究和应用需求。

特点

该数据集的特点在于其多样性、规模性和开放性。涵盖了从英文到多语言的文本数据，规模从几MB到数百GB不等。数据来源广泛，包括网络爬取、官方档案、用户生成内容等，为研究者提供了丰富的文本资源。同时，大多数数据集都是公开免费的，便于研究者获取和使用。

使用方法

用户可以根据自身需求，通过数据集提供的链接直接下载相应数据。对于部分大型数据集，可能需要通过专门的接口或工具进行访问。使用时，需遵循数据集的版权和使用协议，合理利用数据集资源，进行自然语言处理相关的模型训练、算法研究和应用开发等。

背景与挑战

背景概述

nlp-datasets是一个全面的数据集列表，涵盖了自然语言处理（NLP）领域中的文本数据。该数据集由Apache软件基金会公共邮件存档、Blog Authorship Corpus、Amazon Fine Food Reviews等多个来源组成，包含了从2001年到2017年的不同类型的文本数据，旨在为NLP研究提供丰富的资源。创建这一数据集的目的是为了促进NLP技术的发展和应用，由多个研究人员和机构共同维护，对相关领域产生了深远的影响。

当前挑战

在构建nlp-datasets的过程中，研究人员面临了多个挑战。首先，如何确保收集到的数据集具有多样性和代表性，能够涵盖不同的语言和文化背景，是一个重要的挑战。其次，数据的质量控制也是一个关键问题，包括数据的清洗、标注的准确性以及数据的一致性。此外，随着数据量的不断增长，如何高效地存储和访问这些数据集，以及如何处理和分析大规模文本数据，都是当前面临的挑战。

常用场景

经典使用场景

nlp-datasets数据集为自然语言处理领域提供了丰富的文本资源，其经典使用场景包括构建语言模型、文本分类、情感分析、信息检索等任务。在这些任务中，数据集扮演着提供训练数据和测试数据的重要角色，从而帮助研究人员和开发者评估和改进他们的模型性能。

实际应用

在实际应用中，nlp-datasets数据集可用于社交媒体分析、舆情监测、智能客服、内容推荐等场景。这些应用通过利用数据集中的文本数据，能够实现更精准的用户意图识别和更高效的信息处理。

衍生相关工作

基于nlp-datasets数据集，衍生出了许多相关的工作，包括但不限于构建更大规模的语料库、开发新的自然语言处理模型、提出更有效的文本分析方法等。这些工作进一步推动了自然语言处理领域的发展。