nlp-datasets

包含自然语言处理(NLP)相关文本数据集的字母顺序列表，主要提供免费/公共域的原始非结构化文本数据。

An alphabetically sorted list of text datasets pertaining to Natural Language Processing (NLP), primarily offering free or public-domain raw unstructured text data.

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

• 描述: 包含截至2011年7月11日的所有公开的Apache软件基金会邮件存档。
• 大小: 200 GB

2. Blog Authorship Corpus

• 描述: 收集了2004年8月来自blogger.com的19,320名博主的帖子。
• 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 包含截至2012年10月的568,454条亚马逊用户对食品的评论。
• 大小: 240 MB

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万条亚马逊评论。
• 大小: 11 GB

5. ArXiv

• 描述: 存档中的所有论文全文及源文件。
• 大小: 270 GB (全文) + 190 GB (源文件)

6. ASAP Automated Essay Scoring [Kaggle]

• 描述: 包含八组论文，每组由一个提示生成，由7至10年级学生撰写。
• 大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

• 描述: 每组数据由一个提示生成，主要由10年级学生撰写。
• 大小: 35 MB

8. Classification of political social media

• 描述: 政治社交媒体消息的内容分类。
• 大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 每年扩充的学生文本，主要用于文体学研究。
• 大小: 请求获取

10. ClueWeb09 FACC

• 描述: ClueWeb09数据集，带有Freebase注释。
• 大小: 72 GB

11. ClueWeb11 FACC

• 描述: ClueWeb11数据集，带有Freebase注释。
• 大小: 92 GB

12. Common Crawl Corpus

• 描述: 包含超过50亿网页的网络爬虫数据。
• 大小: 541 TB

13. Cornell Movie Dialog Corpus

• 描述: 包含从原始电影剧本中提取的大量元数据丰富的虚构对话。
• 大小: 9.5 MB

14. Corporate messaging

• 描述: 关于公司在社交媒体上实际谈论内容的数据分类。
• 大小: 600 KB

15. Crosswikis

• 描述: 英语短语到相关维基百科文章的数据库。
• 大小: 11 GB

16. DBpedia

• 描述: 从维基百科中提取的结构化信息。
• 大小: 17 GB

17. Death Row

• 描述: 自1984年以来被执行的每个囚犯的最后话语。
• 大小: HTML表格

18. Del.icio.us

• 描述: 125万条delicious.com书签。
• 大小: 170 MB

19. Disasters on social media

• 描述: 10,000条带有灾难事件标注的推文。
• 大小: 2 MB

20. Economic News Article Tone and Relevance

• 描述: 1951至2014年间的新闻文章，判断其与美国经济的关联及文章基调。
• 大小: 12 MB

21. Enron Email Data

• 描述: 包含1,227,255封电子邮件，覆盖151个保管人。
• 大小: 210 GB

22. Event Registry

• 描述: 提供实时新闻文章访问的免费工具。
• 大小: 查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

• 描述: 2010至2015年间由The Examiner发布的300万条新闻标题。
• 大小: 200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 美国联邦采购数据中心的所有联邦合同数据。
• 大小: 180 GB

25. Flickr Personal Taxonomies

• 描述: 个人标签的树形数据集。
• 大小: 40 MB

26. Freebase Data Dump

• 描述: Freebase中的所有当前事实和声明的数据转储。
• 大小: 26 GB

27. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储。
• 大小: 5 GB

28. Freebase Quad Dump

• 描述: Freebase中的所有当前事实和声明的数据转储。
• 大小: 35 GB

29. German Political Speeches Corpus

• 描述: 德国高级代表近期演讲的集合。
• 大小: 25 MB, 11 MTokens

30. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客文章、元数据、用户点赞数据。
• 大小: 1.5 GB

31. Google Books Ngrams

• 描述: 谷歌图书中的Ngrams数据，也可在亚马逊S3上以Hadoop格式获取。
• 大小: 2.2 TB

32. Google Web 5gram

• 描述: 包含英语单词n-grams及其观察频率计数。
• 大小: 24 GB

33. Gutenberg Ebook List

• 描述: 电子书的注释列表。
• 大小: 2 MB

34. Hansards text chunks of Canadian Parliament

• 描述: 加拿大第36届议会的官方记录中的130万对对齐文本块。
• 大小: 82 MB

35. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录。
• 大小: 4 GB

36. Hate speech identification

• 描述: 包含近15,000行数据，每行文本有三个贡献者判断是否包含仇恨言论、攻击性言论或非攻击性言论。
• 大小: 3 MB

37. Hillary Clinton Emails [Kaggle]

• 描述: 包含克林顿的近7,000页经过大量编辑的电子邮件。
• 大小: 12 MB

38. Historical Newspapers Yearly N-grams and Entities Dataset

• 描述: 包含英国报纸档案库中1,000,000个最频繁的1-, 2-, 3-grams的使用时间序列，以及100,000个最频繁的命名实体。
• 大小: 3.1 GB

39. Historical Newspapers Daily Word Time Series Dataset

• 描述: 1836至1922年间英国和美国历史报纸中25,000个最频繁单词的每日使用时间序列。
• 大小: 2.7 GB

40. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的产品和真实客户搜索词，挑战是预测这些组合的关联分数。
• 大小: 65 MB

41. Identifying key phrases in text

• 描述: 问题/答案对及其上下文，上下文被判断是否与问题/答案相关。
• 大小: 8 MB

42. Jeopardy

• 描述: 包含216,930个过去的Jeopardy问题。
• 大小: 53 MB

43. 200k English plaintext jokes

• 描述: 包含208,000个来自各种来源的纯文本笑话。
• 大小: 请求获取

44. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译数据。
• 大小: 612 MB

45. Material Safety Datasheets

• 描述: 230,000份材料安全数据表。
• 大小: 3 GB

46. Million News Headlines - ABC Australia [Kaggle]

• 描述: 2003至2017年间ABC新闻澳大利亚发布的130万条新闻标题。
• 大小: 56 MB

47. Millions of News Article URLs

• 描述: 2014年10月至2015年4月期间，950多个英语新闻网站首页的230万个新闻文章URL。
• 大小: 101 MB

48. MCTest

• 描述: 包含660个故事及其相关问题，用于机器文本理解研究。
• 大小: 1 MB

49. NEGRA

• 描述: 德语报纸文本的句法注释语料库，可供所有大学和非营利组织免费使用。
• 大小: 请求获取

50. News Headlines of India - Times of India [Kaggle]

• 描述: 2001至2017年间《印度时报》发布的270万条新闻标题。
• 大小: 185 MB

51. News article / Wikipedia page pairings

• 描述: 新闻文章与维基百科页面的配对数据。
• 大小: 6 MB

52. NIPS2015 Papers (version 2) [Kaggle]

• 描述: NIPS2015会议的所有论文全文。
• 大小: 335 MB

53. NYTimes Facebook Data

• 描述: 所有《纽约时报》的Facebook帖子。
• 大小: 5 MB

54. One Week of Global News Feeds [Kaggle]

• 描述: 2017年8月一周内全球20种语言发布的140万篇文章。
• 大小: 115 MB

55. Objective truths of sentences/concept pairs

• 描述: 包含句子及其概念对的客观真理数据。
• 大小: 700 KB

56. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储。
• 大小: 16 GB

57. Personae Corpus

• 描述: 用于作者归属和人格预测实验的145篇荷兰语论文。
• 大小: 请求获取

58. Reddit Comments

• 描述: 2015年7月之前所有公开的Reddit评论。
• 大小: 250 GB

59. Reddit Comments (May ‘15) [Kaggle]

• 描述: 上述数据集的一个子集。
• 大小: 8 GB

60. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月31日所有公开的Reddit提交内容。
• 大小: 42 GB

61. Reuters Corpus

• 描述: 用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
• 大小: 2.5 GB

62. SaudiNewsNet

• 描述: 来自各种沙特在线报纸的31,030篇阿拉伯语新闻文章及其元数据。
• 大小: 2 MB

63. SMS Spam Collection

• 描述: 5,574条英语真实非编码SMS消息，标记为合法或垃圾邮件。
• 大小: 200 KB

64. SouthparkData

• 描述: 包含季节、剧集、角色和台词的.csv文件。
• 大小: 3.6 MB

65. Stanford Question Answering Dataset (SQUAD 2.0)

• 描述: 阅读理解数据集，包含由众包工作者在维基百科文章上提出的问题，答案为文本段落或无法回答的问题。
• 大小: 请求获取

66. Stackoverflow

• 描述: 730万条Stack Overflow问题及其他Stack Exchange网站的数据。
• 大小: 查询工具

67. Twitter Cheng-Caverlee-Lee Scrape

• 描述: 2009年9月至2010年1月期间的推文，带有地理位置信息。
• 大小: 400 MB

68. Twitter New England Patriots Deflategate sentiment

• 描述: 2015年超级碗前关于放气足球和爱国者队是否作弊的Twitter情绪数据。
• 大小: 2 MB

69. Twitter Progressive issues sentiment analysis

• 描述: 关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
• 大小: 600 KB

70. Twitter Sentiment140

• 描述: 与品牌/关键词相关的推文，网站包括论文和研究想法。
• 大小: 77 MB

71. Twitter sentiment analysis: Self-driving cars

• 描述: 贡献者阅读推文并将其分类为非常积极、稍微积极、中性、稍微消极或非常消极，并标记是否与自动驾驶汽车无关。
• 大小: 1 MB

72. Twitter Elections Integrity

• 描述: 2016年美国选举中所有可疑推文和媒体。
• 大小: 1.4 GB

73. Twitter Tokyo Geolocated Tweets

• 描述: 来自东京的200,000条推文。
• 大小: 47 MB

74. Twitter UK Geolocated Tweets

• 描述: 来自英国的170,000条推文。
• 大小: 47 MB

75. Twitter USA Geolocated Tweets

• 描述: 来自美国的200,000条推文。
• 大小: 45 MB

76. Twitter US Airline Sentiment [Kaggle]

• 描述: 关于美国主要航空公司问题的情绪分析工作，包括2015年2月的推文数据。
• 大小: 2.5 MB

77. U.S. economic performance based on news articles

• 描述: 新闻文章标题和摘录，判断其是否与美国经济相关。
• 大小: 5 MB

78. Urban Dictionary Words and Definitions [Kaggle]

• 描述: 2016年5月之前所有Urban Dictionary单词、定义、作者、投票的清理后的CSV语料库。
• 大小: 238 MB

79. Wesbury Lab Usenet Corpus

• 描述: 2005-2010年间来自47,860个英语新闻组的匿名汇编。
• 大小: 40 GB

80. Wesbury Lab Wikipedia Corpus

• 描述: 2010年4月对英文维基百科文章的快照，去除了所有链接和不相关材料。
• 大小: 1.8 GB

81. WorldTree Corpus of Explanation Graphs for Elementary Science Questions

• 描述: 为美国公共可用的基础科学考试问题构建的解释图语料库。
• 大小: 8 MB

82. Wikipedia Extraction (WEX)

• 描述: 英语维基百科的加工转储。
• 大小: 66 GB

83. Wikipedia XML Data

• 描述: 所有维基媒体维基的完整副本，包括wikitext源和嵌入XML的元数据。
• 大小: 500 GB

84. Yahoo! Answers Comprehensive Questions and Answers

• 描述: 2007年10月25日的雅虎答案语料库，包含4,483,032个问题及其答案。
• 大小: 3.6 GB

85. Yahoo! Answers consisting of questions asked in French

• 描述: 2006年至2015年间，包含170万个用法语提问的问题及其相应的答案。
• 大小: 3.8 GB

86. Yahoo! Answers Manner Questions

• 描述: 2007年10月25日雅虎答案语料库的一个子集，包含142,627个问题及其答案。
• 大小: 104 MB

87. Yahoo! HTML Forms Extracted from Publicly Available Webpages

• 描述: 包含从公开可用网页中提取的267万个复杂HTML表单的小样本。
• 大小: 50+ GB

88. Yahoo! Metadata Extracted from Publicly Available Web Pages

• **

搜集汇总

数据集介绍

构建方式

nlp-datasets数据集是一个全面收录自然语言处理领域公开可用文本数据的集合。该数据集的构建主要通过网络爬虫收集、开源项目贡献、以及各大研究机构与企业的数据共享。数据涵盖了从邮件档案、博客文章、产品评论到新闻头条、社交媒体帖子等多种类型的文本数据，为研究者提供了丰富的语料资源。

使用方法

使用nlp-datasets数据集时，研究者可以根据自己的研究需求，选择合适的文本数据。数据集提供了详细的描述和元数据信息，方便用户理解数据内容和结构。对于需要特定类型数据的研究者，可以直接访问数据集提供的URL链接或使用API进行数据检索。在处理和使用数据时，研究者应遵守相关的数据使用条款和版权规定。

背景与挑战

背景概述

nlp-datasets是一个自然语言处理领域的数据集列表，由多个机构和研究人员整理而成，旨在为NLP研究提供丰富的文本资源。该数据集涵盖了从邮件档案、博客文章到新闻评论、社交媒体帖子等多种类型的文本数据。其创建时间不定，但根据所包含的数据集，可以推断其始于21世纪初。这个数据集列表的影响力在于它为研究人员提供了一个全面的数据资源索引，极大地促进了自然语言处理领域的研究进展。

当前挑战

nlp-datasets在构建过程中所遇到的挑战主要包括数据的多样性和质量保证。由于数据集涵盖了多种来源和类型，确保数据的清洗、标注和质量控制是一个巨大的挑战。此外，数据集的维护和更新也需要持续的努力，以保持其相关性和实用性。在所解决的领域问题方面，nlp-datasets的挑战在于如何有效地支持各种NLP任务，如文本分类、情感分析、信息检索等，这要求数据集不仅要量大，还要具有适当的多样性和平衡性。

常用场景

经典使用场景

nlp-datasets数据集经典使用场景在于为自然语言处理领域的研究者和开发者提供海量的文本数据资源，这些数据资源涵盖了从邮件档案、博客文章到新闻评论等各个类型，为构建和测试各种NLP模型如文本分类、情感分析、机器翻译等提供了基础。

解决学术问题

该数据集解决了自然语言处理领域中的多个学术研究问题，包括但不限于文本分类的准确性、情感分析的可靠性、机器翻译的精确度等。通过提供大规模的标注数据集，研究者能够训练出更加精确的模型，进而推动学术研究的进展。

实际应用

在实际应用场景中，nlp-datasets数据集可用于改善机器学习模型在自然语言理解方面的表现，例如提高聊天机器人的交互能力、优化搜索引擎的搜索结果相关性、加强语音识别系统的准确度等，从而提升用户体验。

数据集最近研究

最新研究方向

nlp-datasets数据集的近期研究方向主要集中在自然语言处理领域内的多样化和细分领域的研究，如文本分类、情感分析、机器翻译、信息检索和风格ometrics等。这些研究利用nlp-datasets中的大规模文本数据，对模型进行训练和评估，以提升模型的性能和泛化能力。此外，也有研究关注于特定类型的数据集构建，如针对社交媒体的文本数据，以及利用这些数据进行热点事件追踪和公众情绪分析。这些研究对于理解语言特性、提高语言模型的智能水平以及促进社交媒体分析等领域的发展具有重要的意义。