nlp-datasets

包含自然语言处理(NLP)相关的免费/公共领域文本数据集的字母顺序列表。这些数据集主要包含原始非结构化文本数据，适用于NLP研究。

An alphabetical list of free/public domain text datasets related to Natural Language Processing (NLP). These datasets primarily consist of raw unstructured text data, suitable for NLP research.

原始信息汇总

数据集概述

自然语言处理相关数据集列表

1. Apache Software Foundation Public Mail Archives

• 描述: 所有公开的Apache Software Foundation邮件存档，截至2011年7月11日，数据量200 GB。
• 链接: Apache Software Foundation Public Mail Archives

2. Blog Authorship Corpus

• 描述: 收集自2004年8月blogger.com的19,320名博主的帖子，包含681,288篇帖子和超过1400万字，数据量298 MB。
• 链接: Blog Authorship Corpus

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 包含至2012年10月的568,454条亚马逊用户留下的食品评论，数据量240 MB。
• 链接: Amazon Fine Food Reviews

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万亚马逊评论，数据量11 GB。
• 链接: Amazon Reviews

5. ArXiv

• 描述: 存档中的所有论文全文（270 GB）+源文件（190 GB）。
• 链接: ArXiv

6. ASAP Automated Essay Scoring [Kaggle]

• 描述: 此竞赛包含八个论文集，每个集由一个提示生成，平均长度150至550字，数据量100 MB。
• 链接: ASAP Automated Essay Scoring

7. ASAP Short Answer Scoring [Kaggle]

• 描述: 每个数据集由一个提示生成，平均长度50字，数据量35 MB。
• 链接: ASAP Short Answer Scoring

8. Classification of political social media

• 描述: 政治社交媒体消息按内容分类，数据量4 MB。
• 链接: Classification of political social media

9. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 每年扩充的学生文本语料库，主要用于文体学研究，数据量需请求。
• 链接: CLiPS Stylometry Investigation (CSI) Corpus

10. ClueWeb09 FACC

• 描述: ClueWeb09带Freebase注释，数据量72 GB。
• 链接: ClueWeb09 FACC

11. ClueWeb11 FACC

• 描述: ClueWeb11带Freebase注释，数据量92 GB。
• 链接: ClueWeb11 FACC

12. Common Crawl Corpus

• 描述: 包含超过50亿网页的网络爬虫数据，数据量541 TB。
• 链接: Common Crawl Corpus

13. Cornell Movie Dialog Corpus

• 描述: 包含从原始电影剧本中提取的大量元数据丰富的虚构对话，数据量9.5 MB。
• 链接: Cornell Movie Dialog Corpus

14. Corporate messaging

• 描述: 关于公司在社交媒体上实际谈论内容的数据分类任务，数据量600 KB。
• 链接: Corporate messaging

15. Crosswikis

• 描述: 英语短语到相关维基百科文章的数据库，数据量11 GB。
• 链接: Crosswikis

16. DBpedia

• 描述: 从维基百科提取的结构化信息，数据量17 GB。
• 链接: DBpedia

17. Death Row

• 描述: 自1984年以来被执行的每个囚犯的最后话语，数据格式为HTML表。
• 链接: Death Row

18. Del.icio.us

• 描述: 美味书签网站上的125万书签。
• 链接: Del.icio.us

19. Disasters on social media

• 描述: 10,000条带有灾难事件注释的推文，数据量2 MB。
• 链接: Disasters on social media

20. Economic News Article Tone and Relevance

• 描述: 判断与美国经济相关的新闻文章的语气和相关性，数据量12 MB。
• 链接: Economic News Article Tone and Relevance

21. Enron Email Data

• 描述: 包含1,227,255封电子邮件，数据量210 GB。
• 链接: Enron Email Data

22. Event Registry

• 描述: 提供全球100,000家新闻出版商的实时新闻文章访问的免费工具。
• 链接: Event Registry

23. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 联邦采购数据中心的所有联邦合同数据转储，数据量180 GB。
• 链接: Federal Contracts from the Federal Procurement Data Center

24. Flickr Personal Taxonomies

• 描述: 个人标签的树形数据集，数据量40 MB。
• 链接: Flickr Personal Taxonomies

25. Freebase Data Dump

• 描述: Freebase中的所有当前事实和断言的数据转储，数据量26 GB。
• 链接: Freebase Data Dump

26. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储，数据量5 GB。
• 链接: Freebase Simple Topic Dump

27. Freebase Quad Dump

• 描述: Freebase中的所有当前事实和断言的数据转储，数据量35 GB。
• 链接: Freebase Quad Dump

28. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客文章、元数据、用户点赞数据，数据量1.5 GB。
• 链接: GigaOM Wordpress Challenge

29. Google Books Ngrams

• 描述: 谷歌图书中的N元语法数据，也可在亚马逊S3上以Hadoop格式获取，数据量2.2 TB。
• 链接: Google Books Ngrams

30. Google Web 5gram

• 描述: 包含英语单词N元语法及其观察频率计数，数据量24 GB。
• 链接: Google Web 5gram

31. Gutenberg Ebook List

• 描述: 古腾堡电子书列表，数据量2 MB。
• 链接: Gutenberg Ebook List

32. Hansards text chunks of Canadian Parliament

• 描述: 加拿大第36届议会的官方记录（Hansards）中的130万对对齐文本块，数据量82 MB。
• 链接: Hansards text chunks of Canadian Parliament

33. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录，包括书籍、期刊、电子资源等，数据量4 GB。
• 链接: Harvard Library

34. Hate speech identification

• 描述: 包含近15,000行数据，每行文本有三个贡献者判断是否包含仇恨言论，数据量3 MB。
• 链接: Hate speech identification

35. Hillary Clinton Emails [Kaggle]

• 描述: 包含近7,000页克林顿的严重编辑过的电子邮件，数据量12 MB。
• 链接: Hillary Clinton Emails

36. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的多个产品和真实客户搜索词，数据量65 MB。
• 链接: Home Depot Product Search Relevance

37. Identifying key phrases in text

• 描述: 问题/答案对+上下文；上下文被判断是否与问题/答案相关，数据量8 MB。
• 链接: Identifying key phrases in text

38. Jeopardy

• 描述: 包含216,930个过去的Jeopardy问题，数据量53 MB。
• 链接: Jeopardy

39. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译数据，数据量612 MB。
• 链接: Machine Translation of European Languages

40. Material Safety Datasheets

• 描述: 230,000份材料安全数据表，数据量3 GB。
• 链接: Material Safety Datasheets

41. MCTest

• 描述: 用于研究机器文本理解的660个故事及其相关问题，数据量1 MB。
• 链接: MCTest

42. NEGRA

• 描述: 德语报纸文本的语法注释语料库，需签署并发送表格以获取。
• 链接: NEGRA

43. News article / Wikipedia page pairings

• 描述: 贡献者阅读短文章并被问及它与哪个维基百科文章最匹配，数据量6 MB。
• 链接: News article / Wikipedia page pairings

44. NIPS2015 Papers (version 2) [Kaggle]

• 描述: NIPS2015会议的所有论文全文，数据量335 MB。
• 链接: NIPS2015 Papers

45. NYTimes Facebook Data

• 描述: 所有纽约时报的Facebook帖子，数据量5 MB。
• 链接: NYTimes Facebook Data

46. Objective truths of sentences/concept pairs

• 描述: 贡献者阅读包含两个概念的句子，并被问及句子是否可能为真，数据量700 KB。
• 链接: Objective truths of sentences/concept pairs

47. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储，数据量16 GB。
• 链接: Open Library Data Dumps

48. Personae Corpus

• 描述: 用于作者归属和个性预测实验的145个荷兰语学生论文语料库，数据量需请求。
• 链接: Personae Corpus

49. Reddit Comments

• 描述: 截至2015年7月的所有公开Reddit评论，数据量250 GB。
• 链接: Reddit Comments

50. Reddit Comments (May ‘15) [Kaggle]

• 描述: 上述数据集的子集，数据量8 GB。
• 链接: Reddit Comments (May ‘15)

51. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月31日的所有公开Reddit提交，数据量42 GB。
• 链接: Reddit Submission Corpus

52. Reuters Corpus

• 描述: 用于自然语言处理、信息检索和机器学习系统研究和发展的大量路透社新闻故事，数据量2.5 GB。
• 链接: Reuters Corpus

53. SaudiNewsNet

• 描述: 包含从各种在线沙特报纸提取的31,030篇阿拉伯语新闻文章及其元数据，数据量2 MB。
• 链接: SaudiNewsNet

54. SMS Spam Collection

• 描述: 5,574条英语、真实且非编码的SMS消息，标记为合法（ham）或垃圾邮件（spam），数据量200 KB。
• 链接: SMS Spam Collection

55. SouthparkData

• 描述: 包含季节、集数、角色和台词信息的.csv文件，数据量3.6 MB。
• 链接: SouthparkData

56. Stackoverflow

• 描述: 730万StackOverflow问题及其他StackExchange网站的数据查询工具。
• 链接: Stackoverflow

搜集汇总

数据集介绍

构建方式

nlp-datasets 是一个收录了众多自然语言处理（NLP）领域公共数据集的仓库，涵盖了从邮件存档、博客文章到新闻评论等多样化的文本数据。这些数据集多由网络爬虫爬取或由用户公开捐赠，构建过程中注重数据的多样性和可用性，以满足不同研究的需要。

特点

该数据集的特点在于其全面性和多样性，不仅包含了原始的未结构化文本数据，还提供了经过标注的语料库和Treebanks，适合进行文本分类、信息检索、机器学习等多种自然语言处理任务。此外，数据集涵盖了不同来源和主题的文本，为研究提供了丰富的背景和视角。

使用方法

用户可以根据个人研究需求，通过数据集提供的链接直接访问和下载所需的数据。对于部分需要申请的数据集，用户需遵循相关流程进行申请。使用数据集时，应确保遵守数据的使用条款和版权规定，合理利用数据资源。

背景与挑战

背景概述

nlp-datasets是一个按字母顺序排列的免费/公共领域文本数据集列表，用于自然语言处理（NLP）。该数据集主要包含未经处理的原始文本数据，如果需要注释语料库或树库，则可以参考页面底部的资源。该数据集的创建旨在为NLP研究提供丰富的文本资源，自发布以来，已被广泛应用于自然语言处理领域，对推动该领域的研究与发展产生了重要影响。

当前挑战

nlp-datasets在构建过程中所遇到的挑战主要包括数据的收集、整理和分类。首先，由于数据集包含大量的免费/公共领域文本数据，其收集过程涉及对众多来源的数据进行筛选和验证，以确保数据的质量和可用性。其次，数据集的分类和描述需要准确反映数据的特点，便于研究人员选择合适的数据集进行相关研究。此外，随着NLP领域的快速发展，如何不断更新和扩充数据集，以适应新的研究领域和挑战，也是该数据集面临的一个关键问题。

常用场景

经典使用场景

nlp-datasets数据集广泛涵盖了自然语言处理领域所需的文本数据，其经典使用场景主要集中于训练和测试自然语言处理模型。例如，使用Amazon Fine Food Reviews数据集进行情感分析，以预测用户对商品的评价倾向；利用Cornell Movie Dialog Corpus进行对话系统的开发与评估，从而提升机器对自然语言对话的理解能力。

衍生相关工作

nlp-datasets数据集催生了大量相关的研究工作。例如，基于Amazon Fine Food Reviews数据集的研究工作，不仅推进了情感分析领域的发展，也为消费者行为研究提供了新的视角。此外，利用这些数据集进行的各种自然语言处理任务的基准测试，为评估和比较不同算法的性能提供了标准。

数据集最近研究

最新研究方向

nlp-datasets数据集涵盖了自然语言处理领域广泛使用的文本数据，近期研究方向主要集中于文本分类、情感分析、机器翻译和作者归属等。该数据集为研究人员提供了丰富的资源，使得在构建和训练自然语言处理模型时能够处理多样化的任务，如政治社交媒体内容的分类、亚马逊产品评论的情感分析、以及基于社交媒体的消息对灾难事件的响应分析等。这些研究不仅推动了自然语言处理技术的进步，而且对于理解社会媒体动态、消费者行为以及公共情绪具有深远的影响。