nlp-datasets

包含自然语言处理(NLP)相关的免费/公共域文本数据集的字母顺序列表。这些数据集主要包含原始非结构化文本数据，适用于NLP研究。

An alphabetical list of free/public domain text datasets related to Natural Language Processing (NLP). These datasets primarily consist of raw unstructured text data, suitable for NLP research.

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

• 描述: 包含截至2011年7月11日的所有公开Apache软件基金会邮件存档。
• 大小: 200 GB

2. Blog Authorship Corpus

• 描述: 收集自2004年8月的19,320名博客作者的帖子。
• 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 包含截至2012年10月的568,454条亚马逊食品评论。
• 大小: 240 MB

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万亚马逊评论。
• 大小: 11 GB

5. ArXiv

• 描述: 存档中的所有论文全文及源文件。
• 大小: 270 GB (全文) + 190 GB (源文件)

6. ASAP Automated Essay Scoring [Kaggle]

• 描述: 包含八组论文，每组由单一提示生成。
• 大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

• 描述: 包含由单一提示生成的数据集。
• 大小: 35 MB

8. Classification of political social media

• 描述: 政治社交媒体消息的内容分类。
• 大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 用于文体学研究的年度扩展学生文本语料库。
• 大小: 请求获取

10. ClueWeb09 FACC

• 描述: ClueWeb09数据集，带有Freebase注释。
• 大小: 72 GB

11. ClueWeb11 FACC

• 描述: ClueWeb11数据集，带有Freebase注释。
• 大小: 92 GB

12. Common Crawl Corpus

• 描述: 包含超过50亿网页的网络爬虫数据。
• 大小: 541 TB

13. Cornell Movie Dialog Corpus

• 描述: 包含从电影剧本中提取的大量虚构对话。
• 大小: 9.5 MB

14. Corporate messaging

• 描述: 关于公司在社交媒体上实际讨论内容的分类数据。
• 大小: 600 KB

15. Crosswikis

• 描述: 英语短语与相关维基百科文章的数据库。
• 大小: 11 GB

16. DBpedia

• 描述: 从维基百科中提取的结构化信息。
• 大小: 17 GB

17. Death Row

• 描述: 自1984年以来被执行的每个囚犯的最后遗言。
• 大小: HTML表

18. Del.icio.us

• 描述: 125万条美味书签。

19. Disasters on social media

• 描述: 10,000条带有灾难事件标注的推文。
• 大小: 2 MB

20. Economic News Article Tone and Relevance

• 描述: 关于美国经济的新闻文章的相关性和语气判断。
• 大小: 12 MB

21. Enron Email Data

• 描述: 包含1,227,255封电子邮件，覆盖151个保管人。
• 大小: 210 GB

22. Event Registry

• 描述: 提供实时新闻文章访问的免费工具。
• 大小: 查询工具

23. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 联邦采购数据中心的联邦合同数据。
• 大小: 180 GB

24. Flickr Personal Taxonomies

• 描述: 个人标签的树形数据集。
• 大小: 40 MB

25. Freebase Data Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 26 GB

26. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储。
• 大小: 5 GB

27. Freebase Quad Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 35 GB

28. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客文章、元数据、用户喜欢。
• 大小: 1.5 GB

29. Google Books Ngrams

• 描述: 谷歌图书中的n-grams数据。
• 大小: 2.2 TB

30. Google Web 5gram

• 描述: 包含英语单词n-grams及其观察频率计数。
• 大小: 24 GB

31. Gutenberg Ebook List

• 描述: 带注释的电子书列表。
• 大小: 2 MB

32. Hansards text chunks of Canadian Parliament

• 描述: 加拿大议会官方记录中的130万对对齐文本块。
• 大小: 82 MB

33. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录。
• 大小: 4 GB

34. Hate speech identification

• 描述: 包含近15,000行文本，每行文本有三个贡献者判断。
• 大小: 3 MB

35. Hillary Clinton Emails [Kaggle]

• 描述: 包含近7,000页克林顿的严重编辑的电子邮件。
• 大小: 12 MB

36. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的产品和真实客户搜索词。
• 大小: 65 MB

37. Identifying key phrases in text

• 描述: 问题/答案对+上下文；上下文被判断是否与问题/答案相关。
• 大小: 8 MB

38. Jeopardy

• 描述: 包含216,930个过去的Jeopardy问题。
• 大小: 53 MB

39. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译。
• 大小: 612 MB

40. Material Safety Datasheets

• 描述: 230,000份材料安全数据表。
• 大小: 3 GB

41. MCTest

• 描述: 用于研究机器理解文本的660个故事和相关问题集。
• 大小: 1 MB

42. NEGRA

• 描述: 德语报纸文本的句法注释语料库。
• 大小: 请求获取

43. News article / Wikipedia page pairings

• 描述: 新闻文章与维基百科页面的配对数据。
• 大小: 6 MB

44. NIPS2015 Papers (version 2) [Kaggle]

• 描述: 包含所有NIPS2015论文的全文。
• 大小: 335 MB

45. NYTimes Facebook Data

• 描述: 所有NYTimes的Facebook帖子。
• 大小: 5 MB

46. Objective truths of sentences/concept pairs

• 描述: 包含句子/概念对的客观真理数据。
• 大小: 700 KB

47. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储。
• 大小: 16 GB

48. Personae Corpus

• 描述: 用于作者归属和个性预测实验的荷兰语语料库。
• 大小: 请求获取

49. Reddit Comments

• 描述: 截至2015年7月的所有公开Reddit评论。
• 大小: 250 GB

50. Reddit Comments (May ‘15) [Kaggle]

• 描述: 上述数据集的子集。
• 大小: 8 GB

51. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月31日的所有公开Reddit提交。
• 大小: 42 GB

52. Reuters Corpus

• 描述: 用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
• 大小: 2.5 GB

53. SaudiNewsNet

• 描述: 来自各种在线沙特报纸的31,030篇阿拉伯语新闻文章及其元数据。
• 大小: 2 MB

54. SMS Spam Collection

• 描述: 5,574条英语、真实和非编码的SMS消息，标记为合法（ham）或垃圾邮件（spam）。
• 大小: 200 KB

55. SouthparkData

• 描述: 包含季节、集数、角色和台词的脚本信息。
• 大小: 3.6 MB

56. Stackoverflow

• 描述: 730万条Stackoverflow问题及其他Stack Exchange站点。
• 大小: 查询工具

57. Twitter Cheng-Caverlee-Lee Scrape

• 描述: 2009年9月至2010年1月的推文，地理位置定位。
• 大小: 400 MB

58. Twitter New England Patriots Deflategate sentiment

• 描述: 关于2015年超级碗前充气足球争议的Twitter情绪分析。
• 大小: 2 MB

59. Twitter Progressive issues sentiment analysis

• 描述: 关于各种左倾问题的推文，分类为支持、反对或中立。
• 大小: 600 KB

60. Twitter Sentiment140

• 描述: 与品牌/关键词相关的推文。
• 大小: 77 MB

61. Twitter sentiment analysis: Self-driving cars

• 描述: 关于自动驾驶汽车的推文情绪分析。
• 大小: 1 MB

62. Twitter Tokyo Geolocated Tweets

• 描述: 来自东京的200,000条推文。
• 大小: 47 MB

63. Twitter UK Geolocated Tweets

• 描述: 来自英国的170,000条推文。
• 大小: 47 MB

64. Twitter USA Geolocated Tweets

• 描述: 来自美国的200,000条推文。
• 大小: 45 MB

65. Twitter US Airline Sentiment [Kaggle]

• 描述: 关于美国主要航空公司问题的情绪分析工作。
• 大小: 2.5 MB

66. U.S. economic performance based on news articles

• 描述: 新闻文章标题和摘要对美国经济的相关性排名。
• 大小: 5 MB

67. Wesbury Lab Usenet Corpus

• 描述: 2005-2010年英语新闻组的匿名汇编。
• 大小: 40 GB

68. Wesbury Lab Wikipedia Corpus

• 描述: 2010年4月对英语维基百科文章的快照。
• 大小: 1.8 GB

69. Wikipedia Extraction (WEX)

• 描述: 英语维基百科的加工转储。
• 大小: 66 GB

70. Wikipedia XML Data

• 描述: 所有维基媒体wiki的完整副本，形式为wikitext源和嵌入XML的元数据。
• 大小: 500 GB

71. Yahoo! Answers Comprehensive Questions and Answers

• 描述: 截至2007年10月25日的Yahoo! Answers语料库。
• 大小: 3.6 GB

72. Yahoo! Answers consisting of questions asked in French

• 描述: 2006年至2015年间的Yahoo! Answers语料库，包含170万个用法语提出的问题及其答案。
• 大小: 3.8 GB

73. Yahoo! Answers Manner Questions

• 描述: 2007年10月25日转储的Yahoo! Answers语料库子集，用于其语言特性。
• 大小: 104 MB

74. Yahoo! HTML Forms Extracted from Publicly Available Webpages

• 描述: 包含从公开可用网页中提取的复杂HTML表单的小样本。
• 大小: 50+ GB

75. Yahoo! Metadata Extracted from Publicly Available Web Pages

• 描述: 1亿个RDF数据三元组。
• 大小: 2 GB

76. Yahoo N-Gram Representations

• 描述: 包含n-gram表示的数据集。
• 大小: 2.6 GB

77. Yahoo! N-Grams, version 2.0

• 描述: 从1460万份文档中提取的n-grams（n = 1至5）。
• 大小: 12 GB

78. Yahoo! Search Logs with Relevance Judgments

• 描述: 包含相关性判断的匿名Yahoo!搜索日志。
• 大小: 1.3 GB

79. Yahoo! Semantically Annotated Snapshot of the English Wikipedia

• 描述: 2006年11月4日处理的英语维基百科快照。
• 大小: 6 GB

80. Yelp

• 描述: 包括餐厅排名和220万条评论。
• 大小: 请求获取

81. Youtube

• 描述: 170万个YouTube视频描述。
• 大小: 磁力链接

搜集汇总

数据集介绍

构建方式

nlp-datasets是一个包含多种自然语言处理（NLP）用途的文本数据集列表，涵盖从邮件存档到博客文章，再到新闻评论和社交媒体帖子等多样化的文本资源。这些数据集的构建主要通过收集公开可用的文本数据，例如邮件存档、网络爬取的网页内容、用户生成的内容等，旨在为NLP研究和应用提供丰富的数据资源。

使用方法

用户可以根据自己的研究目的和需求，从nlp-datasets中选择合适的数据集。使用时，需遵循数据集的版权和使用许可。对于大多数数据集，可以直接从提供的链接下载。部分数据集可能需要用户自行爬取或通过API访问。在使用数据集进行模型训练或分析时，应确保数据的预处理和后处理符合NLP任务的特定要求。

背景与挑战

背景概述

nlp-datasets是一个开源项目，旨在为自然语言处理（NLP）研究提供一份按字母顺序排列的免费/公共领域文本数据集列表。该项目涵盖了从Apache软件基金会邮件存档到YouTube视频描述等多样化的数据集，创建于2011年，由多个研究人员和机构共同维护，对NLP领域产生了深远的影响。nlp-datasets不仅包含了原始的非结构化文本数据，还提供了经过注释的语料库或Treebanks，为研究人员提供了丰富的资源，以解决各种NLP问题。

当前挑战

尽管nlp-datasets为NLP研究提供了宝贵的资源，但在使用过程中也面临一些挑战。首先，数据集的质量参差不齐，一些数据集的来源和版权信息不明确，给数据的使用带来了困扰。其次，数据集的多样性和规模对存储和计算资源提出了较高要求。此外，对于特定NLP任务，如情感分析、文本分类等，需要的数据集可能缺乏足够的标注数据，这限制了模型的训练和评估。

常用场景

经典使用场景

nlp-datasets作为自然语言处理领域的重要资源，其经典使用场景在于为研究者提供丰富的文本数据，以便进行语言模型训练、文本分类、情感分析、信息抽取等任务。该数据集集合了多种类型的文本数据，如邮件档案、博客文章、产品评论等，使得研究者在不同领域和场景下都能够找到合适的语料。

解决学术问题

该数据集解决了自然语言处理中的多个学术研究问题，如如何提高文本分类的准确性、如何进行有效的情感分析、如何从非结构化文本中提取结构化信息等。通过提供大规模、多样化的文本数据，nlp-datasets极大地推动了相关算法和模型的发展，对学术研究产生了重要影响。

实际应用

在实际应用中，nlp-datasets的数据被广泛应用于社交媒体分析、舆情监控、智能客服、内容推荐等场景。这些应用场景中，数据集提供了处理自然语言所需的文本基础，使得机器能够更好地理解和回应用户的需求，提高了服务的智能化水平。

数据集最近研究

最新研究方向

nlp-datasets数据集涵盖了自然语言处理领域广泛使用的文本数据，近期研究主要聚焦于文本分类、情感分析、作者归属和风格识别等方面。其中，利用亚马逊商品评论数据集进行情感分析的研究持续受到关注，同时，基于Twitter数据集的公共事件情感分析和政治社交媒体内容分类也展现了该领域的研究热点。此外，风格识别研究通过分析不同作者的文章和评论，探索个性化的语言特征，为个性化推荐和假新闻检测提供了新的研究方向。