nlp-datasets

github2022-02-18 更新2024-05-31 收录

下载链接：

https://github.com/Kyubyong/nlp-datasets-1

下载链接

链接失效反馈

官方服务：

资源简介：

包含自然语言处理(NLP)使用的免费/公共领域文本数据集的字母顺序列表。大多数数据集包含原始非结构化文本数据，如果需要注释的语料库或树库，请参考底部来源。

An alphabetical list of free/public domain text datasets for use in Natural Language Processing (NLP). Most datasets contain raw unstructured text data; for annotated corpora or treebanks, please refer to the sources listed at the bottom.

创建时间：

2017-07-25

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

描述: 包含2011年7月11日之前所有公开的Apache Software Foundation邮件存档。
大小: 200 GB

2. Blog Authorship Corpus

描述: 收集了2004年8月来自blogger.com的19,320名博主的帖子，共681,288篇帖子，超过1400万字。
大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

描述: 包含至2012年10月为止的568,454条亚马逊食品评论。
大小: 240 MB

4. Amazon Reviews

描述: 斯坦福大学收集的3500万条亚马逊评论。
大小: 11 GB

5. ArXiv

描述: 包含arXiv上的所有论文全文及源文件。
大小: 270 GB (全文) + 190 GB (源文件)

6. ASAP Automated Essay Scoring [Kaggle]

描述: 包含八组论文，每组由一个提示生成，平均长度150至550字，由7至10年级学生撰写，双人评分。
大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

描述: 包含由单个提示生成的数据集，平均长度50字，主要由10年级学生撰写，双人评分。
大小: 35 MB

8. Classification of political social media

描述: 政治社交媒体消息按内容分类。
大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

描述: 每年扩充的学生文本，包括论文和评论，主要用于文体学研究。
大小: 需请求

10. ClueWeb09 FACC

描述: ClueWeb09数据集，包含Freebase注释。
大小: 72 GB

11. ClueWeb11 FACC

描述: ClueWeb11数据集，包含Freebase注释。
大小: 92 GB

12. Common Crawl Corpus

描述: 包含超过50亿个网页的网络爬虫数据。
大小: 541 TB

13. Cornell Movie Dialog Corpus

描述: 包含从电影剧本中提取的大量元数据丰富的虚构对话。
大小: 9.5 MB

14. Corporate messaging

描述: 关于公司在社交媒体上实际谈论内容的分类数据。
大小: 600 KB

15. Crosswikis

描述: 英语短语与相关维基百科文章的数据库。
大小: 11 GB

16. DBpedia

描述: 从维基百科中提取的结构化信息，使其在网络上可用。
大小: 17 GB

17. Death Row

描述: 自1984年以来被执行死刑的每个囚犯的最后遗言。
大小: HTML表格

18. Del.icio.us

描述: 来自delicious.com的125万书签。
大小: 未提供

19. Disasters on social media

描述: 10,000条带有灾难事件标注的推文。
大小: 2 MB

20. Economic News Article Tone and Relevance

描述: 判断是否与美国经济相关的新闻文章及其语气。
大小: 12 MB

21. Enron Email Data

描述: 包含1,227,255封电子邮件，覆盖151个保管人。
大小: 210 GB

22. Event Registry

描述: 提供实时新闻文章访问的免费工具，支持API。
大小: 查询工具

23. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

描述: 来自联邦采购数据中心的联邦合同数据。
大小: 180 GB

24. Flickr Personal Taxonomies

描述: 个人标签的树形数据集。
大小: 40 MB

25. Freebase Data Dump

描述: Freebase中的所有当前事实和断言的数据转储。
大小: 26 GB

26. Freebase Simple Topic Dump

描述: Freebase中每个主题的基本识别事实的数据转储。
大小: 5 GB

27. Freebase Quad Dump

描述: Freebase中的所有当前事实和断言的数据转储。
大小: 35 GB

28. GigaOM Wordpress Challenge [Kaggle]

描述: 博客文章、元数据、用户点赞数据。
大小: 1.5 GB

29. Google Books Ngrams

描述: 谷歌图书中的n-gram数据，也可在亚马逊S3上以hadoop格式提供。
大小: 2.2 TB

30. Google Web 5gram

描述: 包含英语单词n-gram及其观察频率计数。
大小: 24 GB

31. Gutenberg Ebook List

描述: 带注释的电子书列表。
大小: 2 MB

32. Hansards text chunks of Canadian Parliament

描述: 来自加拿大议会官方记录的130万对对齐文本块。
大小: 82 MB

33. Harvard Library

描述: 哈佛图书馆持有的超过1200万条书目记录，包括书籍、期刊、电子资源等。
大小: 4 GB

34. Hate speech identification

描述: 包含近15,000行文本，每行文本有三个贡献者判断是否包含仇恨言论。
大小: 3 MB

35. Hillary Clinton Emails [Kaggle]

描述: 包含近7,000页的克林顿电子邮件。
大小: 12 MB

36. Home Depot Product Search Relevance [Kaggle]

描述: 包含Home Depot网站上的产品和真实客户搜索词，挑战是预测提供的搜索词和产品组合的相关性得分。
大小: 65 MB

37. Identifying key phrases in text

描述: 问题/答案对+上下文，上下文被判断是否与问题/答案相关。
大小: 8 MB

38. Jeopardy

描述: 包含216,930个过往Jeopardy问题的存档。
大小: 53 MB

39. Machine Translation of European Languages

描述: 欧洲语言的机器翻译数据。
大小: 612 MB

40. Material Safety Datasheets

描述: 230,000份材料安全数据表。
大小: 3 GB

41. MCTest

描述: 包含660个故事及其相关问题，用于机器理解文本的研究。
大小: 1 MB

42. NEGRA

描述: 德语报纸文本的语法标注语料库，免费提供给所有大学和非营利组织。
大小: 需请求

43. News article / Wikipedia page pairings

描述: 贡献者阅读简短文章，并被要求判断哪篇维基百科文章与之最匹配。
大小: 6 MB

44. NIPS2015 Papers (version 2) [Kaggle]

描述: 包含所有NIPS2015论文的全文。
大小: 335 MB

45. NYTimes Facebook Data

描述: 所有纽约时报的Facebook帖子。
大小: 5 MB

46. Objective truths of sentences/concept pairs

描述: 贡献者阅读包含两个概念的句子，并被要求判断句子是否可能为真，并按1-5级评分。
大小: 700 KB

47. Open Library Data Dumps

描述: Open Library中所有记录的所有修订的数据转储。
大小: 16 GB

48. Personae Corpus

描述: 用于作者归属和个性预测实验的数据集，包含145篇荷兰语论文。
大小: 需请求

49. Reddit Comments

描述: 截至2015年7月的所有公开Reddit评论。
大小: 250 GB

50. Reddit Comments (May ‘15) [Kaggle]

描述: 上述数据集的子集。
大小: 8 GB

51. Reddit Submission Corpus

描述: 2006年1月至2015年8月31日的所有公开Reddit提交。
大小: 42 GB

52. Reuters Corpus

描述: 用于自然语言处理、信息检索和机器学习系统研究和开发的大型路透社新闻故事集合。
大小: 2.5 GB

53. SaudiNewsNet

描述: 包含从各种在线沙特报纸提取的31,030篇阿拉伯语新闻文章及其元数据。
大小: 2 MB

54. SMS Spam Collection

描述: 包含5,574条英语、真实且非编码的SMS消息，标记为合法(ham)或垃圾邮件(spam)。
大小: 200 KB

55. SouthparkData

描述: 包含剧本信息的.csv文件，包括季节、集数、角色和台词。
大小: 3.6 MB

56. Stackoverflow

描述: 730万条Stackoverflow问题及其他StackExchange站点的问题。
大小: 查询工具

57. Twitter Cheng-Caverlee-Lee Scrape

描述: 2009年9月至2010年1月的推文，地理位置定位。
大小: 400 MB

58. Twitter New England Patriots Deflategate sentiment

描述: 在2015年超级碗之前，关于足球泄气事件的Twitter情绪分析。
大小: 2 MB

59. Twitter Progressive issues sentiment analysis

描述: 关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
大小: 600 KB

60. Twitter Sentiment140

描述: 与品牌/关键词相关的推文。
大小: 77 MB

61. Twitter sentiment analysis: Self-driving cars

描述: 贡献者阅读推文并将其分类为非常积极、稍微积极、中性、稍微消极或非常消极，并标记是否与自动驾驶汽车无关。
大小: 1 MB

62. Twitter Tokyo Geolocated Tweets

描述: 来自东京的200,000条推文。
大小: 47 MB

63. Twitter UK Geolocated Tweets

描述: 来自英国的170,000条推文。
大小: 47 MB

64. Twitter USA Geolocated Tweets

描述: 来自美国的200,000条推文。
大小: 45 MB

65. Twitter US Airline Sentiment [Kaggle]

描述: 关于美国主要航空公司问题的情绪分析工作，包括分类积极、消极和中性推文，以及负面原因分类。
大小: 2.5 MB

66. U.S. economic performance based on news articles

描述: 新闻文章标题和摘录，判断是否与美国经济相关。
大小: 5 MB

67. Wesbury Lab Usenet Corpus

描述: 来自2005-2010年47,860个英语语言新闻组的匿名汇编。
大小: 40 GB

68. Wesbury Lab Wikipedia Corpus

描述: 2010年4月对英语维基百科所有文章的快照，处理后移除了所有链接和无关材料。
大小: 1.8 GB

69. Wikipedia Extraction (WEX)

描述: 英语维基百科的预处理转储。
大小: 66 GB

70. Wikipedia XML Data

描述: 所有维基媒体wiki的完整副本，以wikitext源和嵌入XML中的元数据形式提供。
大小: 500 GB

71. Yahoo! Answers Comprehensive Questions and Answers

描述: 截至2007年10月25日的雅虎答案语料库，包含4,483,032个问题及其答案。
大小: 3.6 GB

72. Yahoo! Answers consisting of questions asked in French

描述: 2006年至2015年雅虎答案语料库的子集，包含170万个用法语提出的问题及其答案。
大小: 3.8 GB

73. Yahoo! Answers Manner Questions

描述: 雅虎答案语料库的子集，选自2007年10月25日的转储，因其语言特性而选。
大小: 104 MB

74. Yahoo! HTML Forms Extracted from Publicly Available Webpages

描述: 包含从公开可用网页中提取的复杂HTML表单的小样本，包含267万个复杂表单。
大小: 50+ GB

75. Yahoo! Metadata Extracted from Publicly Available Web Pages

描述: 1亿个RDF数据三元组。
大小: 2 GB

76. Yahoo N-Gram Representations

描述: 包含n-gram表示的数据集，可用于查询重写任务和词句相似性任务。
大小: 2.6 GB

77. Yahoo! N-Grams, version 2.0

描述: 从1460万个文档中提取的n-grams（n=1至5），包含1260万个独特句子和34亿个运行单词。
大小: 12 GB

78. Yahoo! Search Logs with Relevance Judgments

描述: 包含相关性判断的匿名雅虎搜索日志。
大小: 1.3 GB

79. Yahoo! Semantically Annotated Snapshot of the English Wikipedia

描述: 2006年11月4日处理的英语维基百科快照，使用多个公开可用的NLP工具进行处理。
大小: 6 GB

80. Yelp

描述: 包括餐厅排名和220万条评论。
大小: 需请求

81. Youtube

描述: 包含170万个YouTube视频描述。
大小: 未提供

搜集汇总

数据集介绍

构建方式

nlp-datasets的构建方式主要依赖于从多个公开来源收集和整理文本数据。这些数据来源包括但不限于Apache软件基金会的邮件存档、博客文章、亚马逊商品评论、arXiv论文、社交媒体消息等。数据集通过自动化工具和手动筛选相结合的方式进行整理，确保数据的多样性和广泛性。此外，部分数据集还通过众包平台进行标注，以增强其适用性。

特点

nlp-datasets的特点在于其广泛的覆盖范围和多样化的数据类型。数据集涵盖了从社交媒体消息到学术论文的多种文本形式，适用于自然语言处理中的多种任务，如情感分析、文本分类、机器翻译等。数据集的规模从几百KB到数百GB不等，能够满足不同规模的研究需求。此外，部分数据集经过人工标注，提供了高质量的标签信息，便于监督学习任务的使用。

使用方法

nlp-datasets的使用方法灵活多样，适用于多种自然语言处理任务。研究人员可以根据具体需求选择合适的数据集进行实验。例如，情感分析任务可以使用Twitter情感数据集，文本分类任务可以使用亚马逊评论数据集。数据集通常以原始文本或结构化格式提供，用户可以通过编程接口或直接下载的方式进行访问。对于标注数据集，用户可以直接使用提供的标签进行模型训练和评估。

背景与挑战

背景概述

nlp-datasets是一个专注于自然语言处理（NLP）领域的公开数据集集合，涵盖了从社交媒体文本到学术论文的广泛数据源。该数据集由多个研究机构和开源社区共同维护，旨在为NLP研究者提供丰富且多样化的文本数据资源。其核心研究问题包括文本分类、情感分析、机器翻译、信息抽取等。自2011年以来，该数据集不断扩展，已成为NLP领域的重要参考资源，推动了文本挖掘、语言模型等技术的快速发展。

当前挑战

nlp-datasets在解决NLP领域问题时面临多重挑战。首先，数据集的多样性和规模使得数据预处理和标注成为一项复杂任务，尤其是在处理非结构化文本时。其次，数据来源的异构性导致数据质量和格式不一致，增加了数据清洗和标准化的难度。此外，构建过程中还需应对隐私保护和数据版权问题，尤其是在涉及社交媒体和用户生成内容时。这些挑战不仅影响了数据集的可用性，也对NLP模型的训练和评估提出了更高的要求。

常用场景

经典使用场景

在自然语言处理（NLP）领域，nlp-datasets数据集广泛应用于文本分类、情感分析、机器翻译等任务。例如，Amazon Fine Food Reviews数据集常被用于情感分析研究，通过分析用户对食品的评价，研究者可以深入理解情感表达的细微差异。此外，Cornell Movie Dialog Corpus则被广泛用于对话系统的开发，帮助模型学习自然对话的生成与理解。

衍生相关工作

nlp-datasets催生了许多经典研究工作。例如，基于Google Books Ngrams的研究揭示了语言演变的规律，推动了计算语言学的发展。同时，Enron Email Data集的广泛使用促进了电子邮件分类和异常检测算法的进步，为信息安全领域提供了重要参考。

数据集最近研究