nlp-datasets

包含自然语言处理(NLP)相关文本数据集的字母顺序列表，主要提供免费/公共域的原始非结构化文本数据。

An alphabetical list of text datasets related to Natural Language Processing (NLP), primarily offering free/public domain raw unstructured text data.

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

• 描述: 所有公开的Apache Software Foundation邮件档案，截至2011年7月11日。
• 大小: 200 GB

2. Blog Authorship Corpus

• 描述: 收集自blogger.com的19,320名博主的帖子，2004年8月。
• 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 包含至2012年10月的568,454条亚马逊食品评论。
• 大小: 240 MB

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万亚马逊评论。
• 大小: 11 GB

5. ArXiv

• 描述: 档案中的所有论文全文及源文件。
• 大小: 270 GB (全文) + 190 GB (源文件)

6. ASAP Automated Essay Scoring [Kaggle]

• 描述: 包含八个作文集，由7至10年级学生撰写，双评分。
• 大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

• 描述: 包含多个数据集，由10年级学生撰写，双评分。
• 大小: 35 MB

8. Classification of political social media

• 描述: 政治社交媒体消息的内容分类。
• 大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 用于文体学研究的年度扩展学生文本语料库。
• 大小: 需请求

10. ClueWeb09 FACC

• 描述: ClueWeb09数据集，带有Freebase注释。
• 大小: 72 GB

11. ClueWeb11 FACC

• 描述: ClueWeb11数据集，带有Freebase注释。
• 大小: 92 GB

12. Common Crawl Corpus

• 描述: 包含超过50亿网页的网络爬虫数据。
• 大小: 541 TB

13. Cornell Movie Dialog Corpus

• 描述: 包含617部电影中的220,579次对话。
• 大小: 9.5 MB

14. Corporate messaging

• 描述: 关于公司在社交媒体上实际讨论内容的数据分类。
• 大小: 600 KB

15. Crosswikis

• 描述: 英文短语与相关维基百科文章的数据库。
• 大小: 11 GB

16. DBpedia

• 描述: 从维基百科提取的结构化信息。
• 大小: 17 GB

17. Death Row

• 描述: 自1984年以来被执行的每个囚犯的最后遗言。
• 大小: HTML表格

18. Del.icio.us

• 描述: 125万个delicious.com书签。
• 大小: 不详

19. Disasters on social media

• 描述: 10,000条带有灾难事件标注的推文。
• 大小: 2 MB

20. Economic News Article Tone and Relevance

• 描述: 关于美国经济的新闻文章，判断其相关性和语气。
• 大小: 12 MB

21. Enron Email Data

• 描述: 包含1,227,255封电子邮件，涉及151个保管人。
• 大小: 210 GB

22. Event Registry

• 描述: 提供来自全球100,000个新闻出版商的实时新闻文章访问。
• 大小: 查询工具

23. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 联邦采购数据中心的所有联邦合同数据。
• 大小: 180 GB

24. Flickr Personal Taxonomies

• 描述: 个人标签的树形数据集。
• 大小: 40 MB

25. Freebase Data Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 26 GB

26. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储。
• 大小: 5 GB

27. Freebase Quad Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 35 GB

28. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客文章、元数据、用户喜欢。
• 大小: 1.5 GB

29. Google Books Ngrams

• 描述: 谷歌图书中的n-grams数据，也可在亚马逊S3上以Hadoop格式提供。
• 大小: 2.2 TB

30. Google Web 5gram

• 描述: 包含英语单词n-grams及其观察频率计数。
• 大小: 24 GB

31. Gutenberg Ebook List

• 描述: 带注释的电子书列表。
• 大小: 2 MB

32. Hansards text chunks of Canadian Parliament

• 描述: 加拿大议会官方记录中的130万对对齐文本块。
• 大小: 82 MB

33. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录。
• 大小: 4 GB

34. Hate speech identification

• 描述: 包含近15,000行文本，每行文本有三个贡献者判断是否包含仇恨言论。
• 大小: 3 MB

35. Hillary Clinton Emails [Kaggle]

• 描述: 近7,000页的克林顿电子邮件。
• 大小: 12 MB

36. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的产品和真实客户搜索词，用于预测相关性分数。
• 大小: 65 MB

37. Identifying key phrases in text

• 描述: 问题/答案对+上下文，上下文被判断是否与问题/答案相关。
• 大小: 8 MB

38. Jeopardy

• 描述: 216,930个Jeopardy问题存档。
• 大小: 53 MB

39. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译数据。
• 大小: 612 MB

40. Material Safety Datasheets

• 描述: 230,000份材料安全数据表。
• 大小: 3 GB

41. MCTest

• 描述: 用于文本机器理解研究的660个故事及其相关问题。
• 大小: 1 MB

42. NEGRA

• 描述: 德语报纸文本的语法标注语料库，需请求。
• 大小: 需请求

43. News article / Wikipedia page pairings

• 描述: 新闻文章与维基百科页面的配对。
• 大小: 6 MB

44. NIPS2015 Papers (version 2) [Kaggle]

• 描述: NIPS2015会议的所有论文全文。
• 大小: 335 MB

45. NYTimes Facebook Data

• 描述: 所有纽约时报的Facebook帖子。
• 大小: 5 MB

46. Objective truths of sentences/concept pairs

• 描述: 包含句子及其概念对的客观真理数据集。
• 大小: 700 KB

47. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储。
• 大小: 16 GB

48. Personae Corpus

• 描述: 用于作者归属和个性预测实验的荷兰语语料库。
• 大小: 需请求

49. Reddit Comments

• 描述: 截至2015年7月的所有公开Reddit评论。
• 大小: 250 GB

50. Reddit Comments (May ‘15) [Kaggle]

• 描述: 上述数据集的子集。
• 大小: 8 GB

51. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月31日的所有公开Reddit提交。
• 大小: 42 GB

52. Reuters Corpus

• 描述: 用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
• 大小: 2.5 GB

53. SaudiNewsNet

• 描述: 来自各种在线沙特报纸的31,030篇阿拉伯语新闻文章及其元数据。
• 大小: 2 MB

54. SMS Spam Collection

• 描述: 5,574条英文真实非编码SMS消息，标记为合法或垃圾邮件。
• 大小: 200 KB

55. SouthparkData

• 描述: 包含季节、集数、角色和台词的.csv文件。
• 大小: 3.6 MB

56. Stackoverflow

• 描述: 730万条Stackoverflow问题及其他Stack Exchange问题。
• 大小: 查询工具

57. Twitter Cheng-Caverlee-Lee Scrape

• 描述: 2009年9月至2010年1月的推文，地理位置定位。
• 大小: 400 MB

58. Twitter New England Patriots Deflategate sentiment

• 描述: 关于2015年超级碗前充气足球争议的Twitter情绪分析。
• 大小: 2 MB

59. Twitter Progressive issues sentiment analysis

• 描述: 关于各种左倾问题的推文，分类为支持、反对或中立。
• 大小: 600 KB

60. Twitter Sentiment140

• 描述: 与品牌/关键词相关的推文。
• 大小: 77 MB

61. Twitter sentiment analysis: Self-driving cars

• 描述: 关于自动驾驶汽车的推文情绪分析。
• 大小: 1 MB

62. Twitter Tokyo Geolocated Tweets

• 描述: 来自东京的200,000条推文。
• 大小: 47 MB

63. Twitter UK Geolocated Tweets

• 描述: 来自英国的170,000条推文。
• 大小: 47 MB

64. Twitter USA Geolocated Tweets

• 描述: 来自美国的200,000条推文。
• 大小: 45 MB

65. Twitter US Airline Sentiment [Kaggle]

• 描述: 关于美国主要航空公司问题的Twitter情绪分析。
• 大小: 2.5 MB

66. U.S. economic performance based on news articles

• 描述: 新闻文章标题和摘录，判断其是否与美国经济相关。
• 大小: 5 MB

67. Wesbury Lab Usenet Corpus

• 描述: 2005-2010年来自47,860个英语新闻组的匿名帖子。
• 大小: 40 GB

68. Wesbury Lab Wikipedia Corpus

• 描述: 2010年4月对英语维基百科文章的快照，已处理以去除所有链接和无关材料。
• 大小: 1.8 GB

69. Wikipedia Extraction (WEX)

• 描述: 英语维基百科的加工转储。
• 大小: 66 GB

70. Wikipedia XML Data

• 描述: 所有维基媒体站点的完整副本，包括wikitext源和嵌入XML的元数据。
• 大小: 500 GB

71. Yahoo! Answers Comprehensive Questions and Answers

• 描述: 2007年10月25日的Yahoo! Answers语料库。
• 大小: 3.6 GB

72. Yahoo! Answers consisting of questions asked in French

• 描述: 2006年至2015年间的法语问题及其答案的子集。
• 大小: 3.8 GB

73. Yahoo! Answers Manner Questions

• 描述: 2007年10月25日Yahoo! Answers语料库的子集，用于其语言特性。
• 大小: 104 MB

74. Yahoo! HTML Forms Extracted from Publicly Available Webpages

• 描述: 包含复杂HTML表单的网页样本，包含2.67百万个复杂表单。
• 大小: 50+ GB

75. Yahoo! Metadata Extracted from Publicly Available Web Pages

• 描述: 1亿个RDF数据三元组。
• 大小: 2 GB

76. Yahoo N-Gram Representations

• 描述: 包含n-gram表示的数据集。
• 大小: 2.6 GB

77. Yahoo! N-Grams, version 2.0

• 描述: 从14.6百万文档中提取的n-grams（n=1至5）。
• 大小: 12 GB

78. Yahoo! Search Logs with Relevance Judgments

• 描述: 带有相关性判断的匿名Yahoo!搜索日志。
• 大小: 1.3 GB

79. Yahoo! Semantically Annotated Snapshot of the English Wikipedia

• 描述: 2006年11月4日的英语维基百科快照，经过多种公开可用的NLP工具处理。
• 大小: 6 GB

80. Yelp

• 描述: 包括餐厅排名和220万条评论。
• 大小: 需请求

81. Youtube

• 描述: 170万个YouTube视频描述。
• 大小: 不详

搜集汇总

数据集介绍

构建方式

nlp-datasets 是一个旨在为自然语言处理（NLP）研究提供丰富文本数据的综合性数据集列表。该数据集通过收集和整理公开域内的文本数据，涵盖了从邮件存档、博客文章到新闻评论等多样化的文本资源，为研究者提供了丰富的语言材料。

特点

该数据集的特点在于其内容的多样性和来源的广泛性。它不仅包含了大量的非结构化文本数据，还提供了经过特定任务标注的数据集，如情感分析、文本分类等。此外，数据集涵盖了不同语言和主题，满足了不同研究需求的文本处理与分析。

使用方法

用户可以通过数据集中的URL链接访问和下载所需的数据集。对于某些数据集，可能需要遵循特定的使用条款或请求许可。数据集的使用方法多样，既可以直接用于文本分析，也可以作为机器学习模型的训练集或测试集。

背景与挑战

背景概述

nlp-datasets是一个按字母顺序排列的免费/公共领域文本数据集列表，旨在用于自然语言处理（NLP）研究。该数据集涵盖了从Apache软件基金会公共邮件存档到YouTube视频描述的各种类型的数据，创建时间不等，主要研究人员或机构难以一概而论，因为它包含了众多不同来源的数据集。这些数据集的核心研究问题主要是提供多样化的文本资源以促进NLP技术的发展和应用。其对相关领域的影响力体现在为研究人员和开发者提供了丰富的数据资源，推动了机器学习在语言处理任务上的进步。

当前挑战

nlp-datasets面临的挑战主要包括数据的多样性和质量。首先，数据集的多样性带来了整合和处理的困难，因为每个数据集的格式、内容和用途都可能有所不同。其次，数据质量的问题，例如噪声数据和缺乏标注，对NLP模型的训练和评估构成了挑战。此外，构建统一的标准和评估方法来衡量不同数据集对NLP任务的影响也是一个挑战。

常用场景

经典使用场景

nlp-datasets数据集作为自然语言处理领域的重要资源，其经典使用场景主要集中在文本分类、情感分析、机器翻译、信息抽取等任务上。该数据集涵盖了从邮件档案到社交媒体评论，从新闻文章到百科全书等多种类型的文本数据，使得研究者在进行模型训练和算法研究时，能够获得丰富多样的语言特征和知识背景。

实际应用

在实际应用场景中，nlp-datasets数据集的应用范围广泛，包括但不限于搜索引擎优化、社交媒体分析、客户服务自动化、内容推荐系统等。这些数据集为开发提供了强大的文本数据支持，使得相关应用能够更好地理解和响应用户需求。

衍生相关工作

基于nlp-datasets数据集，衍生出了大量相关的经典工作。例如，利用亚马逊评论数据集进行情感分析的研究，或是使用维基百科数据集来改善知识图谱的构建等。这些工作不仅推动了自然语言处理领域的发展，也为其他相关学科提供了重要的研究基础。