nlp-datasets

包含自然语言处理(NLP)使用的文本数据集的字母顺序列表，大多数数据集为原始非结构化文本数据。

An alphabetical list of text datasets used for Natural Language Processing (NLP), with most datasets consisting of raw, unstructured text data.

原始信息汇总

数据集概述

自然语言处理（NLP）相关数据集列表

1. Apache Software Foundation Public Mail Archives

   • 描述：所有公开的Apache Software Foundation邮件存档，截至2011年7月11日。
   • 大小：200 GB

2. Blog Authorship Corpus

   • 描述：收集了19,320名博主在2004年8月的博文，共681,288篇，超过140百万字。
   • 大小：298 MB

3. Amazon Fine Food Reviews [Kaggle]

   • 描述：包含568,454条亚马逊用户至2012年10月的食品评论。
   • 大小：240 MB

4. Amazon Reviews

   • 描述：斯坦福收集的3500万条亚马逊评论。
   • 大小：11 GB

5. ArXiv

   • 描述：存档中的所有论文全文及源文件。
   • 大小：270 GB（全文）+ 190 GB（源文件）

6. ASAP Automated Essay Scoring [Kaggle]

   • 描述：包含八套论文集，每套由单一提示生成，由7至10年级学生撰写。
   • 大小：100 MB

7. ASAP Short Answer Scoring [Kaggle]

   • 描述：每套数据集由单一提示生成，主要由10年级学生撰写。
   • 大小：35 MB

8. Classification of political social media

   • 描述：政治社交媒体消息的内容分类。
   • 大小：4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

   • 描述：每年扩充的学生文本，主要用于文体学研究。
   • 大小：需请求

10. ClueWeb09 FACC

    • 描述：ClueWeb09数据集，带有Freebase注释。
    • 大小：72 GB

11. ClueWeb11 FACC

    • 描述：ClueWeb11数据集，带有Freebase注释。
    • 大小：92 GB

12. Common Crawl Corpus

    • 描述：包含超过50亿网页的网络爬虫数据。
    • 大小：541 TB

13. Cornell Movie Dialog Corpus

    • 描述：包含从电影剧本中提取的大量虚构对话。
    • 大小：9.5 MB

14. Corporate messaging

    • 描述：关于公司在社交媒体上实际讨论内容的数据分类。
    • 大小：600 KB

15. Crosswikis

    • 描述：英语短语与相关维基百科文章的数据库。
    • 大小：11 GB

16. DBpedia

    • 描述：从维基百科中提取的结构化信息。
    • 大小：17 GB

17. Death Row

    • 描述：自1984年以来被执行死刑的囚犯的最后遗言。
    • 大小：HTML表格

18. Del.icio.us

    • 描述：125万条delicious.com书签。
    • 大小：170 MB

19. Disasters on social media

    • 描述：10,000条推文，标注是否提及灾难事件。
    • 大小：2 MB

20. Economic News Article Tone and Relevance

    • 描述：判断新闻文章是否与美国经济相关及其语调。
    • 大小：12 MB

21. Enron Email Data

    • 描述：包含1,227,255封电子邮件，覆盖151个保管人。
    • 大小：210 GB

22. Event Registry

    • 描述：提供实时全球新闻文章访问的免费工具。
    • 大小：查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

    • 描述：300万条由The Examiner发布的点击诱饵新闻标题。
    • 大小：200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

    • 描述：美国联邦采购数据中心的联邦合同数据。
    • 大小：180 GB

25. Flickr Personal Taxonomies

    • 描述：个人标签的树形数据集。
    • 大小：40 MB

26. Freebase Data Dump

    • 描述：Freebase中的所有当前事实和断言的数据转储。
    • 大小：26 GB

27. Freebase Simple Topic Dump

    • 描述：Freebase中每个主题的基本识别事实的数据转储。
    • 大小：5 GB

28. Freebase Quad Dump

    • 描述：Freebase中的所有当前事实和断言的数据转储。
    • 大小：35 GB

29. GigaOM Wordpress Challenge [Kaggle]

    • 描述：博客文章、元数据和用户喜欢。
    • 大小：1.5 GB

30. Google Books Ngrams

    • 描述：Google Books中的n-grams数据，也可在Amazon S3上以Hadoop格式获取。
    • 大小：2.2 TB

31. Google Web 5gram

    • 描述：包含英语单词n-grams及其观察频率计数。
    • 大小：24 GB

32. Gutenberg Ebook List

    • 描述：古腾堡电子书列表。
    • 大小：2 MB

33. Hansards text chunks of Canadian Parliament

    • 描述：加拿大议会官方记录的130万对对齐文本块。
    • 大小：82 MB

34. Harvard Library

    • 描述：哈佛图书馆持有的超过1200万条书目记录。
    • 大小：4 GB

35. Hate speech identification

    • 描述：短文本是否包含仇恨言论、攻击性但无仇恨言论或完全无攻击性的分类。
    • 大小：3 MB

36. Hillary Clinton Emails [Kaggle]

    • 描述：希拉里·克林顿的近7000页电子邮件。
    • 大小：12 MB

37. Historical Newspapers Yearly N-grams and Entities Dataset

    • 描述：英国报纸档案库中1,000,000个最频繁的1-, 2-, 和 3-grams的年使用时间序列，以及100,000个最频繁的命名实体。
    • 大小：3.1 GB

38. Historical Newspapers Daily Word Time Series Dataset

    • 描述：1836年至1922年间87年的英国和美国历史报纸中25,000个最频繁单词的每日使用时间序列。
    • 大小：2.7 GB

39. Home Depot Product Search Relevance [Kaggle]

    • 描述：Home Depot网站上的产品和真实客户搜索词的组合，用于预测相关性得分。
    • 大小：65 MB

40. Identifying key phrases in text

    • 描述：问题/答案对及其上下文，上下文是否与问题/答案相关。
    • 大小：8 MB

41. Jeopardy

    • 描述：216,930个Jeopardy问题的存档。
    • 大小：53 MB

42. 200k English plaintext jokes

    • 描述：来自各种来源的208,000个纯文本笑话的存档。
    • 大小：GitHub存储库

43. Machine Translation of European Languages

    • 描述：欧洲语言的机器翻译数据。
    • 大小：612 MB

44. Material Safety Datasheets

    • 描述：230,000份材料安全数据表。
    • 大小：3 GB

45. Million News Headlines - ABC Australia [Kaggle]

    • 描述：ABC新闻澳大利亚从2003年到2017年发布的130万条新闻标题。
    • 大小：56 MB

46. Millions of News Article URLs

    • 描述：2014年10月至2015年4月期间，来自950多个英语新闻网站的230万个新闻文章URL。
    • 大小：101 MB

47. MCTest

    • 描述：用于机器理解的660个故事和相关问题的自由可用集合。
    • 大小：1 MB

48. News Headlines of India - Times of India [Kaggle]

    • 描述：印度时报从2001年到2017年发布的270万条新闻标题。
    • 大小：185 MB

49. News article / Wikipedia page pairings

    • 描述：新闻文章与维基百科页面的配对。
    • 大小：6 MB

50. NIPS2015 Papers (version 2) [Kaggle]

    • 描述：NIPS2015会议的所有论文全文。
    • 大小：335 MB

51. NYTimes Facebook Data

    • 描述：纽约时报的所有Facebook帖子。
    • 大小：5 MB

52. One Week of Global News Feeds [Kaggle]

    • 描述：2017年8月一周内全球发布的140万篇文章的新闻事件数据集。
    • 大小：115 MB

53. Objective truths of sentences/concept pairs

    • 描述：句子/概念对的客观真理评估。
    • 大小：700 KB

54. Open Library Data Dumps

    • 描述：Open Library中所有记录的所有修订的数据转储。
    • 大小：16 GB

55. Personae Corpus

    • 描述：用于作者归属和个性预测实验的145个荷兰语学生论文。
    • 大小：需请求

56. Reddit Comments

    • 描述：2015年7月为止的所有公开Reddit评论。
    • 大小：250 GB

57. Reddit Comments (May ‘15) [Kaggle]

    • 描述：上述数据集的一个子集。
    • 大小：8 GB

58. Reddit Submission Corpus

    • 描述：2006年1月至2015年8月31日的所有公开Reddit提交。
    • 大小：42 GB

59. Reuters Corpus

    • 描述：用于自然语言处理、信息检索和机器学习研究的大型路透社新闻故事集合。
    • 大小：2.5 GB

60. SMS Spam Collection

    • 描述：5,574条英语真实非编码短信，标记为合法或垃圾邮件。
    • 大小：200 KB

61. SouthparkData

    • 描述：包含季节、情节、角色和台词信息的南方公园脚本CSV文件。
    • 大小：3.6 MB

62. Stanford Question Answering Dataset (SQUAD 2.0)

    • 描述：由众包工作者在维基百科文章上提出的阅读理解数据集，答案为文本段落或可能无法回答的问题。
    • 大小：需请求

63. Stackoverflow

    • 描述：730万条Stackoverflow问题及其他Stack Exchange站点数据。
    • 大小：查询工具

64. Twitter Cheng-Caverlee-Lee Scrape

    • 描述：2009年9月至2010年1月期间的Twitter推文，地理位置定位。
    • 大小：400 MB

65. Twitter New England Patriots Deflategate sentiment

    • 描述：2015年超级碗前关于放气足球和爱国者队是否作弊的Twitter情绪分析。
    • 大小：2 MB

66. Twitter Progressive issues sentiment analysis

    • 描述：关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
    • 大小：600 KB

67. Twitter Sentiment140

    • 描述：与品牌/关键词相关的推文。
    • 大小：77 MB

68. Twitter sentiment analysis: Self-driving cars

    • 描述：关于自动驾驶汽车的推文，分类为非常积极、稍微积极、中性、稍微消极或非常消极。
    • 大小：1 MB

69. Twitter Elections Integrity

    • 描述：2016年美国选举中的所有可疑推文和媒体。
    • 大小：1.4 GB

70. Twitter Tokyo Geolocated Tweets

    • 描述：东京的20万条地理位置定位推文。
    • 大小：47 MB

71. Twitter UK Geolocated Tweets

    • 描述：英国的17万条地理位置定位推文。
    • 大小：47 MB

72. Twitter USA Geolocated Tweets

    • 描述：美国的20万条地理位置定位推文。
    • 大小：45 MB

73. Twitter US Airline Sentiment [Kaggle]

    • 描述：美国主要航空公司的情绪分析工作，包括正面、负面和中性推文，以及负面原因的分类。
    • 大小：2.5 MB

74. U.S. economic performance based on news articles

    • 描述：根据新闻文章标题和摘要对美国经济表现的排名。
    • 大小：5 MB

75. Urban Dictionary Words and Definitions [Kaggle]

    • 描述：截至2016年5月的所有Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
    • 大小：238 MB

76. Wesbury Lab Usenet Corpus

    • 描述：2005-2010年间的47,860个英语新闻组的匿名汇编。
    • 大小：40 GB

77. Wesbury Lab Wikipedia Corpus

    • 描述：2010年4月对英语维基百科文章的快照，处理以去除所有链接和无关材料。
    • 大小：1.8 GB

78. WorldTree Corpus of Explanation Graphs for Elementary Science Questions

    • 描述：为美国公开可用的小学科学考试问题构建的解释图、解释角色评级和相关半结构化表格存储。
    • 大小：8 MB

79. Wikipedia Extraction (WEX)

    • 描述：英语维基百科的加工转储。
    • 大小：66 GB

80. Wikipedia XML Data

    • 描述：所有维基媒体维基的完整副本，形式为wikitext源和嵌入XML的元数据。
    • 大小：500 GB

81. Yahoo! Answers Comprehensive Questions and Answers

    • 描述：2007年10月25日的雅虎答案语料库，包含4,483,032个问题及其答案。
    • 大小：3.6 GB

82. Yahoo! Answers consisting of questions asked in French

    • 描述：2006年至2015年间，由170万个用法语提出的问题及其相应的答案组成的雅虎答案语料库子集。
    • 大小：3.8 GB

83. Yahoo! Answers Manner Questions

    • 描述：2007年10月25日转储的雅虎答案语料库子集，选定其语言特性，包含142,627个问题及其答案。
    • 大小：104 MB

84. Yahoo! HTML Forms Extracted from Publicly Available Webpages

    • 描述：从公开可用的网页中提取的复杂HTML表单的小样本，包含2.67万个复杂表单。
    • 大小：50+ GB

85. Yahoo! Metadata Extracted from Publicly Available Web Pages

    • 描述：1亿个RDF数据三元组。
    • 大小：2 GB

86. Yahoo N-Gram Representations

    • 描述：n-gram表示，可用于查询重写任务和单词及句子相似性任务。
    • 大小：2.6 GB

87. Yahoo! N-Grams, version 2.0

    • 描述：从1460万个文档中提取的n-grams（n=1至

搜集汇总

数据集介绍

构建方式

该数据集通过收集和整理网络上公开的自然语言处理相关文本数据而构建，涵盖了多种类型的数据，包括邮件存档、博客文章、产品评论、学术论文等，以满足自然语言处理领域的研究需求。

使用方法

用户可以通过数据集中的URL链接访问和下载所需的数据集。对于部分数据集，可能需要遵守特定的使用条款或协议。使用数据集时，应确保遵守相关法律法规和数据使用规范。

背景与挑战

背景概述

nlp-datasets是一个免费的、包含文本数据的自然语言处理(NLP)数据集列表。该数据集涵盖了从Apache软件基金会公共邮件存档到Yahoo!答案等众多领域，包含了大量的原始未结构化文本数据，同时也包含了经过注释的语料库或树库。该数据集的创建旨在为NLP研究提供丰富的资源，自发布以来，对相关领域的研究产生了深远的影响。

当前挑战

nlp-datasets在构建过程中遇到的挑战主要包括数据的多样性和规模性。数据集涵盖了多种语言和来源，这要求研究人员在处理和整合数据时必须考虑到跨语言和跨领域的复杂性。此外，大规模的数据集在存储和计算上也提出了更高的要求。在研究领域，nlp-datasets所解决的挑战包括如何有效地从非结构化文本中提取有用信息，以及如何处理和注释大规模数据集以提高NLP模型的性能。

常用场景

经典使用场景

nlp-datasets数据集的典型应用场景在于自然语言处理领域的研究与开发。学者和开发者可以从中获取大量文本数据，用于构建和训练各种NLP模型，如文本分类、情感分析、机器翻译等。该数据集涵盖了从邮件档案到社交媒体帖子，再到新闻文章和百科全书等多种类型的文本数据，为研究提供了丰富的资源。

解决学术问题

该数据集解决了自然语言处理领域中数据匮乏的问题，为学术研究提供了海量的文本数据。它帮助研究者克服了在构建NLP模型时遇到的冷启动问题，提高了模型的泛化能力。同时，多样化的数据来源使研究者能够探索不同的语言风格和结构，增强了模型对语言多样性的适应性。

实际应用

在实际应用中，nlp-datasets数据集可用于提升机器学习模型的性能，例如在搜索引擎优化、语音识别、聊天机器人开发等方面。企业可以利用这些数据进行算法训练，以提高产品的自然语言理解和生成能力，从而提升用户体验。

数据集最近研究

最新研究方向

近期，自然语言处理领域的研究者们利用nlp-datasets数据集，在多个前沿方向展开探索。例如，在情感分析方面，研究者们通过Twitter US Airline Sentiment数据集分析用户对美国各大航空公司的情感态度；在信息检索领域，利用Wikipedia Extraction (WEX)数据集进行查询重写任务的研究。此外，机器阅读理解方面，Stanford Question Answering Dataset (SQUAD 2.0)提供了丰富的文本问答对，助力提升机器的理解能力。这些研究不仅推动了自然语言处理技术的进步，也为相关领域的发展提供了重要支撑。