nlp-datasets

包含自然语言处理(NLP)领域使用的免费/公共领域文本数据集的字母顺序列表。

An alphabetical list of free/public domain text datasets used in the field of Natural Language Processing (NLP).

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

• 描述: 所有公开的Apache Software Foundation邮件存档，截至2011年7月11日。
• 大小: 200 GB

2. Blog Authorship Corpus

• 描述: 包含19,320名博主在2004年8月收集的帖子，共计681,288篇帖子，超过140百万字。
• 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 包含568,454条亚马逊用户在2012年10月前留下的食品评论。
• 大小: 240 MB

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万亚马逊评论。
• 大小: 11 GB

5. ArXiv

• 描述: 存档中的所有论文全文（270 GB）+源文件（190 GB）。

6. ASAP Automated Essay Scoring [Kaggle]

• 描述: 包含八组论文，每组由一个提示生成，平均长度150至550字，由7至10年级学生撰写，手工评分并双评分。
• 大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

• 描述: 每组数据由一个提示生成，平均长度50字，主要由10年级学生撰写，手工评分并双评分。
• 大小: 35 MB

8. Classification of political social media

• 描述: 政治社交媒体消息按内容分类。
• 大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 每年扩展的学生文本语料库，主要用于文体学研究。
• 获取方式: 请求获取

10. ClueWeb09 FACC

• 描述: ClueWeb09带Freebase注释。
• 大小: 72 GB

11. ClueWeb11 FACC

• 描述: ClueWeb11带Freebase注释。
• 大小: 92 GB

12. Common Crawl Corpus

• 描述: 包含超过50亿网页的网络爬虫数据。
• 大小: 541 TB

13. Cornell Movie Dialog Corpus

• 描述: 包含从原始电影剧本中提取的大量元数据丰富的虚构对话集合。
• 大小: 9.5 MB

14. Corporate messaging

• 描述: 关于公司在社交媒体上实际讨论内容的数据分类。
• 大小: 600 KB

15. Crosswikis

• 描述: 英语短语到相关维基百科文章的数据库。
• 大小: 11 GB

16. DBpedia

• 描述: 从维基百科提取的结构化信息，使其在网络上可用。
• 大小: 17 GB

17. Death Row

• 描述: 自1984年以来被执行的每个囚犯的最后话语。

18. Del.icio.us

• 描述: 125万delicious.com书签。

19. Disasters on social media

• 描述: 10,000条带有是否指灾难事件注释的推文。
• 大小: 2 MB

20. Economic News Article Tone and Relevance

• 描述: 判断是否与美国经济相关的新闻文章及其语气。
• 大小: 12 MB

21. Enron Email Data

• 描述: 包含1,227,255封电子邮件，覆盖151个保管人。
• 大小: 210 GB

22. Event Registry

• 描述: 提供实时访问来自全球100,000个新闻出版商的新闻文章的免费工具。

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

• 描述: 300万条由现已关闭的点击诱饵网站The Examiner发布的众包新闻标题。
• 大小: 200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 联邦采购数据中心的所有联邦合同数据。
• 大小: 180 GB

25. Flickr Personal Taxonomies

• 描述: 个人标签的树形数据集。
• 大小: 40 MB

26. Freebase Data Dump

• 描述: Freebase中所有当前事实和断言的数据转储。
• 大小: 26 GB

27. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储。
• 大小: 5 GB

28. Freebase Quad Dump

• 描述: Freebase中所有当前事实和断言的数据转储。
• 大小: 35 GB

29. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客文章、元数据、用户点赞。
• 大小: 1.5 GB

30. Google Books Ngrams

• 描述: 在亚马逊S3上也可用的Hadoop格式。
• 大小: 2.2 TB

31. Google Web 5gram

• 描述: 包含英语单词n-gram及其观察频率计数。
• 大小: 24 GB

32. Gutenberg Ebook List

• 描述: 带注释的电子书列表。
• 大小: 2 MB

33. Hansards text chunks of Canadian Parliament

• 描述: 来自加拿大议会官方记录的130万对对齐文本块。
• 大小: 82 MB

34. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录，包括书籍、期刊、电子资源等。
• 大小: 4 GB

35. Hate speech identification

• 描述: 包含近15,000行，每个文本字符串有三个贡献者判断。
• 大小: 3 MB

36. Hillary Clinton Emails [Kaggle]

• 描述: 近7,000页的克林顿大量编辑的电子邮件。
• 大小: 12 MB

37. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的多个产品和真实客户搜索词，挑战是预测提供的搜索词和产品组合的相关性分数。
• 大小: 65 MB

38. Identifying key phrases in text

• 描述: 问题/答案对+上下文；上下文被判断是否与问题/答案相关。
• 大小: 8 MB

39. Jeopardy

• 描述: 包含216,930个过去的Jeopardy问题。
• 大小: 53 MB

40. 200k English plaintext jokes

• 描述: 来自各种来源的208,000个纯文本笑话的存档。

41. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译。
• 大小: 612 MB

42. Material Safety Datasheets

• 描述: 230,000份材料安全数据表。
• 大小: 3 GB

43. Million News Headlines - ABC Australia [Kaggle]

• 描述: 130万条ABC新闻澳大利亚从2003年到2017年发布的新闻标题。
• 大小: 56 MB

44. MCTest

• 描述: 用于研究机器理解文本的660个故事和相关问题集。
• 大小: 1 MB

45. NEGRA

• 描述: 德语报纸文本的语法注释语料库。
• 获取方式: 需要签署并发送表格以获取。

46. News Headlines of India - Times of India [Kaggle]

• 描述: 270万条新闻标题，按类别发布，由印度时报从2001年到2017年。
• 大小: 185 MB

47. News article / Wikipedia page pairings

• 描述: 贡献者阅读一篇短文并被问及它最接近哪两个维基百科文章。
• 大小: 6 MB

48. NIPS2015 Papers (version 2) [Kaggle]

• 描述: NIPS2015论文的全文。
• 大小: 335 MB

49. NYTimes Facebook Data

• 描述: 所有纽约时报的Facebook帖子。
• 大小: 5 MB

50. One Week of Global News Feeds [Kaggle]

• 描述: 2017年8月一周内全球发布的140万篇文章的新闻事件数据集，涵盖20种语言。
• 大小: 115 MB

51. Objective truths of sentences/concept pairs

• 描述: 贡献者阅读包含两个概念的句子，并被问及句子是否可能为真，并按1-5级评分。
• 大小: 700 KB

52. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储。
• 大小: 16 GB

53. Personae Corpus

• 描述: 用于作者归属和个性预测实验的145个荷兰语学生论文语料库。
• 获取方式: 请求获取

54. Reddit Comments

• 描述: 截至2015年7月的所有公开Reddit评论。
• 大小: 250 GB

55. Reddit Comments (May ‘15) [Kaggle]

• 描述: 上述数据集的子集。
• 大小: 8 GB

56. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月31日所有公开的Reddit提交。
• 大小: 42 GB

57. Reuters Corpus

• 描述: 用于自然语言处理、信息检索和机器学习系统研究和开发的大型路透社新闻故事集合。
• 大小: 2.5 GB

58. SaudiNewsNet

• 描述: 来自各种在线沙特报纸的31,030篇阿拉伯语新闻文章及其元数据。
• 大小: 2 MB

59. SMS Spam Collection

• 描述: 5,574条英语、真实且非编码的SMS消息，标记为合法（ham）或垃圾邮件（spam）。
• 大小: 200 KB

60. SouthparkData

• 描述: 包含季节、剧集、角色和台词信息的.csv文件。
• 大小: 3.6 MB

61. Stackoverflow

• 描述: 730万StackOverflow问题和其他StackExchange站点。

62. Twitter Cheng-Caverlee-Lee Scrape

• 描述: 2009年9月至2010年1月期间的推文，地理位置定位。
• 大小: 400 MB

63. Twitter New England Patriots Deflategate sentiment

• 描述: 2015年超级碗前关于足球放气的Twitter情绪数据集。
• 大小: 2 MB

64. Twitter Progressive issues sentiment analysis

• 描述: 关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
• 大小: 600 KB

65. Twitter Sentiment140

• 描述: 与品牌/关键词相关的推文。
• 大小: 77 MB

66. Twitter sentiment analysis: Self-driving cars

• 描述: 贡献者阅读推文并将其分类为非常积极、稍微积极、中性、稍微消极或非常消极。
• 大小: 1 MB

67. Twitter Tokyo Geolocated Tweets

• 描述: 200,000条来自东京的推文。
• 大小: 47 MB

68. Twitter UK Geolocated Tweets

• 描述: 170,000条来自英国的推文。
• 大小: 47 MB

69. Twitter USA Geolocated Tweets

• 描述: 200,000条来自美国的推文。
• 大小: 45 MB

70. Twitter US Airline Sentiment [Kaggle]

• 描述: 关于美国主要航空公司问题的情绪分析工作。
• 大小: 2.5 MB

71. U.S. economic performance based on news articles

• 描述: 新闻文章标题和摘录，按是否与美国经济相关排名。
• 大小: 5 MB

72. Urban Dictionary Words and Definitions [Kaggle]

• 描述: 260万条Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
• 大小: 238 MB

73. Wesbury Lab Usenet Corpus

• 描述: 2005-2010年来自47,860个英语新闻组的匿名汇编帖子。
• 大小: 40 GB

74. Wesbury Lab Wikipedia Corpus

• 描述: 2010年4月英语维基百科文章的快照，处理以去除所有链接和无关材料。
• 大小: 1.8 GB

75. Wikipedia Extraction (WEX)

• 描述: 英语维基百科的加工转储。
• 大小: 66 GB

76. Wikipedia XML Data

• 描述: 所有维基媒体wiki的完整副本，以wikitext源和嵌入XML中的元数据形式。
• 大小: 500 GB

77. Yahoo! Answers Comprehensive Questions and Answers

• 描述: 截至2007年10月25日的雅虎答案语料库。
• 大小: 3.6 GB

78. Yahoo! Answers consisting of questions asked in French

• 描述: 2006年至2015年间的雅虎答案语料库子集，包含170万个用法语提出的问题及其答案。
• 大小: 3.8 GB

79. Yahoo! Answers Manner Questions

• 描述: 从2007年10月25日的雅虎答案语料库中选出的142,627个问题及其答案，因其语言特性而被选中。
• 大小: 104 MB

80. Yahoo! HTML Forms Extracted from Publicly Available Webpages

• 描述: 包含从公开可用网页中提取的267万个复杂HTML表单的小样本。
• 大小: 50+ GB

81. Yahoo! Metadata Extracted from Publicly Available Web Pages

• 描述: 1亿个RDF数据三元组。
• 大小: 2 GB

82. Yahoo N-Gram Representations

• 描述: 包含n-gram表示的数据集，可用于查询重写任务和词句相似性任务。
• 大小: 2.6 GB

83. Yahoo! N-Grams, version 2.0

• 描述: 从1460万个文档中提取的n-grams（n = 1到5），这些文档是从12000多个新闻导向站点爬取的。
• 大小: 12 GB

84. Yahoo! Search Logs with Relevance Judgments

• 描述: 带相关性判断的匿名雅虎搜索日志。
• 大小: 1.3 GB

85. Yahoo! Semantically Annotated Snapshot of the English Wikipedia

• 描述: 2006年11月4日的英语维基百科快照，使用多个公开可用的NLP工具进行处理。
• 大小: 6 GB

86. Yelp

• 描述: 包括餐厅排名和220万条评论。
• 获取方式: 请求获取

87. Youtube

• 描述: 170万个YouTube视频描述。
• 大小: 未提供

以上是根据提供的数据集详情页面README文件内容整理的关键信息概述。

搜集汇总

数据集介绍

构建方式

nlp-datasets是一个包含众多自然语言处理（NLP）领域公开数据集的列表，涵盖了从邮件存档、博客文章到新闻评论等多样化的文本数据。这些数据集的构建主要通过搜集和整理互联网上公开可用的文本资源，包括但不限于邮件存档、网站博客、商品评论等，旨在为NLP研究和应用提供丰富的文本素材。

使用方法

用户可以通过数据集提供的链接直接访问和下载所需的数据集。在使用时，应遵守数据集的版权和使用许可，合理利用数据集进行研究和开发工作。针对不同的数据集，可能需要不同的处理和分析方法，用户在使用前应先了解数据集的结构和特点。

背景与挑战

背景概述

nlp-datasets是一个关于自然语言处理（NLP）的公开数据集列表，由Alphabetical order进行排列。该数据集涵盖了广泛的应用领域，包括但不限于邮件档案、博客文章、产品评论、论文、社交媒体帖子等。这些数据集多用于训练和测试NLP模型，对相关领域的研究与发展起到了推动作用。nlp-datasets的创建并非由单一研究人员或机构完成，而是由多个贡献者和组织共同维护，其影响力遍及自然语言处理、信息检索、机器学习等多个领域。

当前挑战

nlp-datasets在构建过程中所遇到的挑战主要包括数据的多样性和质量保证。由于数据集涵盖多个来源和类型，确保数据的一致性和可用性是一项艰巨的任务。此外，对于一些特定领域的问题，例如情感分析、主题分类等，需要大量标注数据，而获取高质量的标注数据往往成本高昂且耗时长。在数据应用方面，挑战包括如何从大规模数据中提取有用信息，以及如何处理和分析多模态数据，例如包含文本和图像的数据集。

常用场景

经典使用场景

nlp-datasets数据集被广泛应用于自然语言处理领域，其经典使用场景包括构建语言模型、文本分类、情感分析、信息检索等任务。该数据集包含了丰富的文本资源，如邮件档案、博客文章、产品评论等，为研究者提供了多样化的文本数据，以供训练和测试各种NLP算法。

解决学术问题

该数据集解决了学术研究中对于大规模文本数据的迫切需求，特别是在文本分类、情感分析、作者识别等任务中，为研究者提供了丰富的标注数据和未标注数据，有助于算法的性能评估和模型优化。此外，它还包含了不同领域的文本，有助于跨领域的研究和应用。

实际应用

在实际应用中，nlp-datasets数据集可用于改善机器翻译、情感分析工具、信息过滤系统等。例如，利用该数据集训练的模型可以用于自动识别和分类用户评论中的情感倾向，或者用于构建智能客服系统，提升服务效率和用户体验。

数据集最近研究

最新研究方向

nlp-datasets数据集的最新研究方向主要集中在自然语言处理领域，涉及文本分类、情感分析、机器翻译、信息检索以及风格识别等多个方面。例如，利用亚马逊商品评论数据集进行情感分析，以了解消费者对产品的态度；通过Twitter用户生成内容分析社会媒体中的政治倾向；以及使用维基百科数据集进行知识图谱的构建和研究。这些研究不仅有助于提升自然语言理解的准确性，也为智能决策支持系统和个性化推荐系统提供了重要支撑。