nlp-datasets

github2018-05-02 更新2024-05-31 收录

下载链接：

https://github.com/seanreed1111/nlp-datasets

下载链接

链接失效反馈

官方服务：

资源简介：

包含自然语言处理(NLP)领域使用的免费/公共域文本数据集的字母顺序列表。

An alphabetical list of free/public domain text datasets used in the field of Natural Language Processing (NLP).

创建时间：

2018-05-02

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

描述: 包含截至2011年7月11日公开的所有Apache Software Foundation邮件存档。
大小: 200 GB

2. Blog Authorship Corpus

描述: 收集自2004年8月的19,320名博主的帖子，共计681,288篇帖子，超过1400万字。
大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

描述: 包含截至2012年10月的568,454条亚马逊用户留下的食品评论。
大小: 240 MB

4. Amazon Reviews

描述: 斯坦福大学收集的3500万条亚马逊评论。
大小: 11 GB

5. ArXiv

描述: 存档中的所有论文全文及源文件。
大小: 270 GB (全文) + 190 GB (源文件)

6. ASAP Automated Essay Scoring [Kaggle]

描述: 包含八组由单一提示生成的论文，由7至10年级学生撰写，均经过手工评分和双重评分。
大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

描述: 包含由单一提示生成的数据集，主要由10年级学生撰写，均经过手工评分和双重评分。
大小: 35 MB

8. Classification of political social media

描述: 政治社交媒体消息根据内容分类。
大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

描述: 每年扩充的学生文本语料库，主要用于文体学研究。
大小: 需请求

10. ClueWeb09 FACC

描述: ClueWeb09数据集，带有Freebase注释。
大小: 72 GB

11. ClueWeb11 FACC

描述: ClueWeb11数据集，带有Freebase注释。
大小: 92 GB

12. Common Crawl Corpus

描述: 包含超过50亿个网页的网络爬虫数据。
大小: 541 TB

13. Cornell Movie Dialog Corpus

描述: 包含从电影剧本中提取的大量元数据丰富的虚构对话。
大小: 9.5 MB

14. Corporate messaging

描述: 关于公司在社交媒体上实际谈论内容的分类数据。
大小: 600 KB

15. Crosswikis

描述: 英语短语与关联维基百科文章的数据库。
大小: 11 GB

16. DBpedia

描述: 从维基百科中提取的结构化信息，并使其在网络上可用。
大小: 17 GB

17. Death Row

描述: 自1984年以来被执行的每个囚犯的最后遗言。
大小: HTML表格

18. Del.icio.us

描述: 125万条delicious.com上的书签。
大小: 未提供

19. Disasters on social media

描述: 10,000条带有灾难事件标注的推文。
大小: 2 MB

20. Economic News Article Tone and Relevance

描述: 判断新闻文章是否与美国经济相关及其语调。
大小: 12 MB

21. Enron Email Data

描述: 包含1,227,255封电子邮件，涵盖151个保管人。
大小: 210 GB

22. Event Registry

描述: 提供对全球100,000家新闻出版商实时新闻文章的访问。
大小: 查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

描述: 2010年至2015年间由现已关闭的点击诱饵网站The Examiner发布的300万条新闻标题。
大小: 200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

描述: 联邦采购数据中心的所有联邦合同数据。
大小: 180 GB

25. Flickr Personal Taxonomies

描述: 个人标签的树形数据集。
大小: 40 MB

26. Freebase Data Dump

描述: Freebase中的所有当前事实和断言的数据转储。
大小: 26 GB

27. Freebase Simple Topic Dump

描述: Freebase中每个主题的基本识别事实的数据转储。
大小: 5 GB

28. Freebase Quad Dump

描述: Freebase中的所有当前事实和断言的数据转储。
大小: 35 GB

29. GigaOM Wordpress Challenge [Kaggle]

描述: 博客文章、元数据和用户点赞。
大小: 1.5 GB

30. Google Books Ngrams

描述: 谷歌图书中的n-grams数据，也可在亚马逊S3上以Hadoop格式提供。
大小: 2.2 TB

31. Google Web 5gram

描述: 包含英语单词n-grams及其观察频率计数。
大小: 24 GB

32. Gutenberg Ebook List

描述: 带注释的电子书列表。
大小: 2 MB

33. Hansards text chunks of Canadian Parliament

描述: 来自加拿大议会官方记录的130万对对齐文本块。
大小: 82 MB

34. Harvard Library

描述: 哈佛图书馆持有的超过1200万条书目记录，包括书籍、期刊、电子资源等。
大小: 4 GB

35. Hate speech identification

描述: 包含近15,000行数据，每个文本字符串有三个贡献者判断是否包含仇恨言论、冒犯性言论或非冒犯性言论。
大小: 3 MB

36. Hillary Clinton Emails [Kaggle]

描述: 包含近7,000页克林顿的严重编辑过的电子邮件。
大小: 12 MB

37. Home Depot Product Search Relevance [Kaggle]

描述: 包含Home Depot网站上的多个产品和真实客户搜索词，挑战是预测提供的搜索词和产品组合的相关性得分。
大小: 65 MB

38. Identifying key phrases in text

描述: 问题/答案对+上下文；上下文被判断是否与问题/答案相关。
大小: 8 MB

39. Jeopardy

描述: 包含216,930个过去的Jeopardy问题。
大小: 53 MB

40. 200k English plaintext jokes

描述: 包含来自各种来源的208,000个纯文本笑话。
大小: 未提供

41. Machine Translation of European Languages

描述: 欧洲语言的机器翻译数据。
大小: 612 MB

42. Material Safety Datasheets

描述: 230,000份材料安全数据表。
大小: 3 GB

43. Million News Headlines - ABC Australia [Kaggle]

描述: 2003年至2017年间由ABC新闻澳大利亚发布的130万个新闻标题。
大小: 56 MB

44. MCTest

描述: 包含660个故事及其相关问题的自由可用集合，用于研究机器文本理解；用于问答。
大小: 1 MB

45. NEGRA

描述: 德语报纸文本的句法注释语料库。
大小: 需请求

46. News Headlines of India - Times of India [Kaggle]

描述: 2001年至2017年间由印度时报发布的270万个新闻标题，带有类别。
大小: 185 MB

47. News article / Wikipedia page pairings

描述: 贡献者阅读一篇短文，并被要求判断它与两个维基百科文章中的哪一个最匹配。
大小: 6 MB

48. NIPS2015 Papers (version 2) [Kaggle]

描述: NIPS2015会议的所有论文的全文。
大小: 335 MB

49. NYTimes Facebook Data

描述: 所有纽约时报的Facebook帖子。
大小: 5 MB

50. One Week of Global News Feeds [Kaggle]

描述: 2017年8月一周内全球发布的140万篇文章的新闻事件数据集，涵盖20种语言。
大小: 115 MB

51. Objective truths of sentences/concept pairs

描述: 贡献者阅读包含两个概念的句子，并被要求判断句子是否可能为真，并按1-5分进行评分。
大小: 700 KB

52. Open Library Data Dumps

描述: Open Library中所有记录的所有修订的数据转储。
大小: 16 GB

53. Personae Corpus

描述: 用于作者归属和个性预测实验的荷兰语语料库。
大小: 需请求

54. Reddit Comments

描述: 截至2015年7月的所有公开Reddit评论。
大小: 250 GB

55. Reddit Comments (May ‘15) [Kaggle]

描述: 上述数据集的子集。
大小: 8 GB

56. Reddit Submission Corpus

描述: 2006年1月至2015年8月31日期间的所有公开Reddit提交。
大小: 42 GB

57. Reuters Corpus

描述: 用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
大小: 2.5 GB

58. SaudiNewsNet

描述: 从各种在线沙特报纸中提取的31,030篇阿拉伯语新闻文章及其元数据。
大小: 2 MB

59. SMS Spam Collection

描述: 5,574条英语真实非编码短信，标记为合法(ham)或垃圾邮件(spam)。
大小: 200 KB

60. SouthparkData

描述: 包含季节、情节、角色和台词的脚本信息。
大小: 3.6 MB

61. Stackoverflow

描述: 730万条Stackoverflow问题及其他Stack Exchange站点的问题。
大小: 查询工具

62. Twitter Cheng-Caverlee-Lee Scrape

描述: 2009年9月至2010年1月期间的推文，地理位置定位。
大小: 400 MB

63. Twitter New England Patriots Deflategate sentiment

描述: 2015年超级碗前关于泄气足球和爱国者队是否作弊的Twitter情绪数据。
大小: 2 MB

64. Twitter Progressive issues sentiment analysis

描述: 关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
大小: 600 KB

65. Twitter Sentiment140

描述: 与品牌/关键词相关的推文。
大小: 77 MB

66. Twitter sentiment analysis: Self-driving cars

描述: 贡献者阅读推文并将其分类为非常积极、稍微积极、中性、稍微消极或非常消极。
大小: 1 MB

67. Twitter Tokyo Geolocated Tweets

描述: 东京的200,000条推文。
大小: 47 MB

68. Twitter UK Geolocated Tweets

描述: 英国的170,000条推文。
大小: 47 MB

69. Twitter USA Geolocated Tweets

描述: 美国的200,000条推文。
大小: 45 MB

70. Twitter US Airline Sentiment [Kaggle]

描述: 关于美国主要航空公司问题的情绪分析工作。
大小: 2.5 MB

71. U.S. economic performance based on news articles

描述: 新闻文章标题和摘录，判断其是否与美国经济相关。
大小: 5 MB

72. Urban Dictionary Words and Definitions [Kaggle]

描述: 2016年5月所有Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
大小: 238 MB

73. Wesbury Lab Usenet Corpus

描述: 2005-2010年间来自47,860个英语新闻组的匿名汇编。
大小: 40 GB

74. Wesbury Lab Wikipedia Corpus

描述: 2010年4月英语维基百科文章的快照，经过处理以去除所有链接和无关材料。
大小: 1.8 GB

75. Wikipedia Extraction (WEX)

描述: 英语维基百科的加工转储。
大小: 66 GB

76. Wikipedia XML Data

描述: 所有维基媒体wiki的完整副本，以wikitext源和嵌入XML中的元数据形式。
大小: 500 GB

77. Yahoo! Answers Comprehensive Questions and Answers

描述: 2007年10月25日的Yahoo! Answers语料库，包含4,483,032个问题及其答案。
大小: 3.6 GB

78. Yahoo! Answers consisting of questions asked in French

描述: 2006年至2015年间在法语中提出的170万个问题及其相应的答案。
大小: 3.8 GB

79. Yahoo! Answers Manner Questions

描述: 2007年10月25日转储的Yahoo! Answers语料库的子集，选定用于其语言属性。
大小: 104 MB

80. Yahoo! HTML Forms Extracted from Publicly Available Webpages

描述: 从公开可用的网页中提取的小样本复杂HTML表单，包含2.67百万个复杂表单。
大小: 50+ GB

81. Yahoo! Metadata Extracted from Publicly Available Web Pages

描述: 1亿个RDF数据三元组。
大小: 2 GB

82. Yahoo N-Gram Representations

描述: 包含n-gram表示的数据集。
大小: 2.6 GB

83. Yahoo! N-Grams, version 2.0

描述: 从1460万个文档中提取的n-grams（n=1至5），涵盖12,000多个新闻导向站点。
大小: 12 GB

84. Yahoo! Search Logs with Relevance Judgments

描述: 带有相关性判断的匿名Yahoo!搜索日志。
大小: 1.3 GB

85. Yahoo! Semantically Annotated Snapshot of the English Wikipedia

描述: 2006年11月4日的英语维基百科的语义注释快照。
大小: 6 GB

86. Yelp

描述: 包括餐厅排名和220万条评论。
大小: 需请求

87. Youtube

描述: 170万个YouTube视频描述。
大小: 未提供

搜集汇总

数据集介绍

构建方式

nlp-datasets 是一个收录了众多自然语言处理（NLP）领域公开数据集的仓库，包含了从不同来源和格式收集的文本数据。这些数据集的构建主要通过整合网络上可公开获取的文本资源，包括但不限于邮件存档、博客文章、产品评论、新闻头条、社交媒体帖子等，涵盖了广泛的主题和语言风格，以适应不同的 NLP 研究和应用需求。

使用方法

背景与挑战

背景概述

nlp-datasets是一个关于自然语言处理（NLP）的公共数据集列表，旨在为研究人员和开发者提供丰富的文本资源。该数据集涵盖了从邮件存档到社交媒体帖子，再到新闻文章和书籍等多种类型的文本数据。创建于信息时代，nlp-datasets集合了全球范围内多个机构和个人的努力，为NLP领域的研究提供了强有力的支撑。其影响力遍及语言识别、信息检索、机器学习等多个子领域，成为了推动自然语言处理技术发展的重要资源。

当前挑战

nlp-datasets在构建过程中遇到的挑战主要包括数据的多样性和质量保证。首先，数据集涵盖了多种来源和类型的文本，这要求研究人员在处理数据时必须考虑到不同文本的特性和需求。其次，确保数据质量，尤其是在标注数据集中，需要大量的人工审核和校正，这在数据量庞大的情况下显得尤为困难。此外，随着技术的进步，如何更新和维护这些数据集，以适应新的研究需求和挑战，也是当前面临的重要问题。

常用场景

经典使用场景

nlp-datasets数据集被广泛应用于自然语言处理领域，其经典使用场景包括构建语言模型、文本分类、情感分析、信息抽取等任务。该数据集涵盖了丰富的文本资源，如邮件档案、博客文章、产品评论等，为研究者提供了多样化的文本数据，以便于开展各种NLP任务。

解决学术问题

该数据集解决了学术研究中对于大规模、多样化文本数据的需求问题。通过提供不同来源和类型的文本数据，如新闻文章、社交媒体帖子、学术论文等，nlp-datasets有助于推动文本分类、情感分析、机器翻译等研究的进展，为学术研究提供了可靠的数据基础。

实际应用

在实际应用中，nlp-datasets的数据被用于改进搜索引擎、构建聊天机器人、分析社交媒体情绪、监测网络舆论等。这些应用场景极大地推动了自然语言处理技术在现实世界中的落地，为各行各业提供了智能化解决方案。

数据集最近研究