nlp-datasets

包含自然语言处理(NLP)领域使用的免费/公共域文本数据集的字母顺序列表。

An alphabetical list of free/public domain text datasets used in the field of Natural Language Processing (NLP).

原始信息汇总

数据集概述

1. Apache Software Foundation Public Mail Archives

• 描述: 所有公开可用的Apache Software Foundation邮件档案，截至2011年7月11日。
• 大小: 200 GB

2. Blog Authorship Corpus

• 描述: 收集了19,320名博主在2004年8月从blogger.com收集的帖子。
• 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

• 描述: 包含568,454条亚马逊用户在2012年10月之前留下的食品评论。
• 大小: 240 MB

4. Amazon Reviews

• 描述: 斯坦福大学收集的3500万亚马逊评论。
• 大小: 11 GB

5. ArXiv

• 描述: 档案中的所有论文全文及源文件。
• 大小: 270 GB (全文) + 190 GB (源文件)

6. ASAP Automated Essay Scoring [Kaggle]

• 描述: 包含八个论文集，每集由单个提示生成。
• 大小: 100 MB

7. ASAP Short Answer Scoring [Kaggle]

• 描述: 每个数据集由单个提示生成，平均长度为50字。
• 大小: 35 MB

8. Classification of political social media

• 描述: 政治社交媒体消息的内容分类。
• 大小: 4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

• 描述: 每年扩展的学生文本语料库，主要用于文体学研究。
• 大小: 请求获取

10. ClueWeb09 FACC

• 描述: ClueWeb09数据集，带有Freebase注释。
• 大小: 72 GB

11. ClueWeb11 FACC

• 描述: ClueWeb11数据集，带有Freebase注释。
• 大小: 92 GB

12. Common Crawl Corpus

• 描述: 包含超过50亿个网页的网络爬虫数据。
• 大小: 541 TB

13. Cornell Movie Dialog Corpus

• 描述: 包含大量电影剧本中提取的虚构对话。
• 大小: 9.5 MB

14. Corporate messaging

• 描述: 关于公司在社交媒体上实际谈论内容的分类数据。
• 大小: 600 KB

15. Crosswikis

• 描述: 英文短语与关联维基百科文章的数据库。
• 大小: 11 GB

16. DBpedia

• 描述: 从维基百科中提取的结构化信息。
• 大小: 17 GB

17. Death Row

• 描述: 自1984年以来被执行的每个囚犯的最后遗言。
• 大小: HTML表格

18. Del.icio.us

• 描述: 125万个delicious.com书签。
• 大小: 170 MB

19. Disasters on social media

• 描述: 10,000条带有灾难事件标注的推文。
• 大小: 2 MB

20. Economic News Article Tone and Relevance

• 描述: 判断新闻文章是否与美国经济相关及其语调。
• 大小: 12 MB

21. Enron Email Data

• 描述: 包含1,227,255封电子邮件，覆盖151个保管人。
• 大小: 210 GB

22. Event Registry

• 描述: 提供来自全球100,000个新闻出版商的实时新闻文章访问。
• 大小: 查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

• 描述: 2010年至2015年由现已关闭的点击诱饵网站The Examiner发布的300万条新闻标题。
• 大小: 200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

• 描述: 来自联邦采购数据中心的联邦合同数据。
• 大小: 180 GB

25. Flickr Personal Taxonomies

• 描述: 个人标签的树形数据集。
• 大小: 40 MB

26. Freebase Data Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 26 GB

27. Freebase Simple Topic Dump

• 描述: Freebase中每个主题的基本识别事实的数据转储。
• 大小: 5 GB

28. Freebase Quad Dump

• 描述: Freebase中的所有当前事实和断言的数据转储。
• 大小: 35 GB

29. German Political Speeches Corpus

• 描述: 德国顶级代表最近发表的演讲集。
• 大小: 25 MB

30. GigaOM Wordpress Challenge [Kaggle]

• 描述: 博客文章、元数据、用户点赞数据。
• 大小: 1.5 GB

31. Google Books Ngrams

• 描述: 谷歌图书中的Ngrams数据，也提供Hadoop格式。
• 大小: 2.2 TB

32. Google Web 5gram

• 描述: 包含英语单词n-grams及其观察频率计数。
• 大小: 24 GB

33. Gutenberg Ebook List

• 描述: 带注释的电子书列表。
• 大小: 2 MB

34. Hansards text chunks of Canadian Parliament

• 描述: 加拿大议会官方记录中的130万对对齐文本块。
• 大小: 82 MB

35. Harvard Library

• 描述: 哈佛图书馆持有的超过1200万条书目记录。
• 大小: 4 GB

36. Hate speech identification

• 描述: 短文本是否包含仇恨言论的识别。
• 大小: 3 MB

37. Hillary Clinton Emails [Kaggle]

• 描述: 希拉里·克林顿的近7000页经过大量编辑的电子邮件。
• 大小: 12 MB

38. Historical Newspapers Yearly N-grams and Entities Dataset

• 描述: 英国报纸档案库中1,000,000个最频繁的1-, 2-, 3-grams的年度时间序列。
• 大小: 3.1 GB

39. Historical Newspapers Daily Word Time Series Dataset

• 描述: 1836年至1922年间87年的英国和美国历史报纸中25,000个最频繁单词的每日使用时间序列。
• 大小: 2.7 GB

40. Home Depot Product Search Relevance [Kaggle]

• 描述: 包含Home Depot网站上的产品和真实客户搜索词。
• 大小: 65 MB

41. Identifying key phrases in text

• 描述: 问题/答案对+上下文，上下文是否与问题/答案相关。
• 大小: 8 MB

42. Jeopardy

• 描述: 216,930个过去的Jeopardy问题存档。
• 大小: 53 MB

43. 200k English plaintext jokes

• 描述: 来自各种来源的208,000个纯文本笑话。
• 大小: 请求获取

44. Machine Translation of European Languages

• 描述: 欧洲语言的机器翻译。
• 大小: 612 MB

45. Material Safety Datasheets

• 描述: 230,000份材料安全数据表。
• 大小: 3 GB

46. Million News Headlines - ABC Australia [Kaggle]

• 描述: ABC新闻澳大利亚2003年至2017年发布的130万条新闻标题。
• 大小: 56 MB

47. Millions of News Article URLs

• 描述: 2014年10月至2015年4月期间950多个英语新闻网站的首页新闻文章的230万个URL。
• 大小: 101 MB

48. MCTest

• 描述: 用于机器文本理解的660个故事和相关问题集。
• 大小: 1 MB

49. NEGRA

• 描述: 德语报纸文本的语法注释语料库。
• 大小: 请求获取

50. News Headlines of India - Times of India [Kaggle]

• 描述: 《印度时报》2001年至2017年发布的270万条新闻标题。
• 大小: 185 MB

51. News article / Wikipedia page pairings

• 描述: 新闻文章与维基百科页面的配对。
• 大小: 6 MB

52. NIPS2015 Papers (version 2) [Kaggle]

• 描述: NIPS2015会议的所有论文全文。
• 大小: 335 MB

53. NYTimes Facebook Data

• 描述: 所有纽约时报的Facebook帖子。
• 大小: 5 MB

54. One Week of Global News Feeds [Kaggle]

• 描述: 2017年8月一周内全球20种语言发布的140万篇文章。
• 大小: 115 MB

55. Objective truths of sentences/concept pairs

• 描述: 句子/概念对的客观真实性评估。
• 大小: 700 KB

56. Open Library Data Dumps

• 描述: Open Library中所有记录的所有修订的数据转储。
• 大小: 16 GB

57. Personae Corpus

• 描述: 用于作者归属和个性预测实验的荷兰语语料库。
• 大小: 请求获取

58. Reddit Comments

• 描述: 截至2015年7月的所有公开Reddit评论。
• 大小: 250 GB

59. Reddit Comments (May ‘15) [Kaggle]

• 描述: 上述数据集的子集。
• 大小: 8 GB

60. Reddit Submission Corpus

• 描述: 2006年1月至2015年8月31日的所有公开Reddit提交。
• 大小: 42 GB

61. Reuters Corpus

• 描述: 用于自然语言处理、信息检索和机器学习系统研究和开发的大型路透社新闻故事集合。
• 大小: 2.5 GB

62. SaudiNewsNet

• 描述: 来自各种在线沙特报纸的31,030篇阿拉伯语新闻文章及其元数据。
• 大小: 2 MB

63. SMS Spam Collection

• 描述: 5,574条英语、真实且非编码的SMS消息，标记为合法(ham)或垃圾邮件(spam)。
• 大小: 200 KB

64. SouthparkData

• 描述: 包含季节、剧集、角色和台词的脚本信息的.csv文件。
• 大小: 3.6 MB

65. Stanford Question Answering Dataset (SQUAD 2.0)

• 描述: 阅读理解数据集，由众包工人在一组维基百科文章上提出的问题组成。
• 大小: 请求获取

66. Stackoverflow

• 描述: 730万条Stackoverflow问题及其他Stack Exchange网站的数据。
• 大小: 查询工具

67. Twitter Cheng-Caverlee-Lee Scrape

• 描述: 2009年9月至2010年1月期间的推文，地理位置定位。
• 大小: 400 MB

68. Twitter New England Patriots Deflategate sentiment

• 描述: 2015年超级碗前关于放气足球和爱国者队是否作弊的推特情绪分析。
• 大小: 2 MB

69. Twitter Progressive issues sentiment analysis

• 描述: 关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
• 大小: 600 KB

70. Twitter Sentiment140

• 描述: 与品牌/关键词相关的推文。
• 大小: 77 MB

71. Twitter sentiment analysis: Self-driving cars

• 描述: 关于自动驾驶汽车的推文情绪分析。
• 大小: 1 MB

72. Twitter Elections Integrity

• 描述: 2016年美国选举中的所有可疑推文和媒体。
• 大小: 1.4 GB

73. Twitter Tokyo Geolocated Tweets

• 描述: 来自东京的20万条推文。
• 大小: 47 MB

74. Twitter UK Geolocated Tweets

• 描述: 来自英国的17万条推文。
• 大小: 47 MB

75. Twitter USA Geolocated Tweets

• 描述: 来自美国的20万条推文。
• 大小: 45 MB

76. Twitter US Airline Sentiment [Kaggle]

• 描述: 关于美国主要航空公司问题的情绪分析工作。
• 大小: 2.5 MB

77. U.S. economic performance based on news articles

• 描述: 新闻文章标题和摘要是

搜集汇总

数据集介绍

构建方式

nlp-datasets 数据集通过整合多个公开的自然语言处理（NLP）相关数据集构建而成，涵盖了从社交媒体文本、新闻文章到学术论文等多种类型的文本数据。这些数据集主要来源于公开的网络资源、学术机构以及众包平台，确保了数据的多样性和广泛性。每个数据集均经过初步的整理和分类，以便于研究人员快速获取所需的文本数据。

特点

nlp-datasets 数据集的特点在于其广泛的覆盖范围和多样化的数据类型。数据集不仅包含大量的非结构化文本数据，如邮件存档、博客文章和社交媒体内容，还涵盖了部分标注数据，如情感分析、问答对和机器翻译语料。此外，数据集的规模从几兆字节到数百吉字节不等，能够满足不同规模的研究需求。数据集的多源性和多语言特性也为跨领域和跨语言的研究提供了丰富的素材。

使用方法

nlp-datasets 数据集的使用方法灵活多样，适用于多种自然语言处理任务。研究人员可以根据具体的研究需求，选择相应的数据集进行下载和使用。例如，情感分析任务可以使用社交媒体情感标注数据集，而机器翻译任务则可以借助多语言平行语料库。数据集通常以压缩文件或API接口的形式提供，用户可以通过GitHub页面或相关链接获取数据，并按照提供的文档进行数据处理和分析。对于需要进一步标注或处理的数据，用户可以根据研究目标进行自定义扩展。

背景与挑战

背景概述

nlp-datasets 是一个专注于自然语言处理（NLP）领域的公开数据集集合，涵盖了从邮件存档、博客文章、商品评论到新闻文章、社交媒体数据等多种文本数据类型。该数据集由多个研究机构和开源社区共同维护，旨在为NLP研究者提供丰富的文本数据资源，以支持诸如文本分类、情感分析、机器翻译、问答系统等任务的研究与开发。其创建时间可追溯至2004年，随着时间推移，数据集不断扩展，涵盖了从早期博客数据到现代社交媒体数据的广泛内容。这些数据集的构建为NLP领域的研究提供了重要的基础支持，推动了文本分析技术的进步。

当前挑战

nlp-datasets 在解决NLP领域问题时面临诸多挑战。首先，数据集的多样性和规模带来了数据预处理和标注的复杂性，尤其是非结构化文本数据的清洗和标准化工作。其次，数据集的时效性问题显著，部分数据集的时间跨度较大，可能无法反映最新的语言使用趋势。此外，数据集的构建过程中，隐私保护和数据伦理问题也备受关注，尤其是在涉及社交媒体和邮件数据时。最后，数据集的标注质量和一致性也是一个重要挑战，不同来源的标注标准可能存在差异，影响模型的训练效果。这些挑战要求研究者在数据使用过程中进行细致的预处理和验证，以确保数据的可靠性和有效性。

常用场景

经典使用场景

nlp-datasets数据集广泛应用于自然语言处理（NLP）领域，尤其是在文本分类、情感分析、机器翻译和问答系统等任务中。例如，Amazon Fine Food Reviews数据集常用于情感分析研究，帮助研究者理解用户对产品的评价情感；而Cornell Movie Dialog Corpus则被用于对话生成模型的训练，推动电影对话生成技术的发展。这些数据集为NLP研究提供了丰富的文本资源，支持了多种语言模型的训练与评估。

衍生相关工作

nlp-datasets衍生了许多经典的研究工作。例如，基于SQUAD 2.0数据集的研究推动了BERT、GPT等预训练语言模型的发展，显著提升了问答系统的性能；Amazon Reviews数据集则催生了多种情感分析算法，如基于深度学习的LSTM和Transformer模型。此外，Cornell Movie Dialog Corpus为电影对话生成模型的研究提供了数据基础，推动了对话系统的技术进步。这些衍生的研究工作不仅丰富了NLP领域的研究成果，还为后续的技术创新奠定了坚实的基础。

数据集最近研究

最新研究方向

近年来，随着自然语言处理（NLP）技术的迅猛发展，nlp-datasets数据集在多个前沿研究方向上展现了其重要价值。首先，情感分析领域的研究者利用该数据集中的社交媒体文本（如Twitter数据）进行情感极性分类，探索用户情感与事件之间的关联。其次，在机器阅读理解任务中，诸如SQuAD 2.0等子数据集被广泛用于训练和评估模型，推动了问答系统的智能化进程。此外，该数据集中的大规模文本数据（如Common Crawl Corpus）为预训练语言模型（如BERT、GPT）提供了丰富的语料支持，进一步提升了模型在文本生成、翻译等任务中的表现。nlp-datasets的多样性和广泛性使其成为NLP领域不可或缺的研究资源，推动了语言理解与生成技术的持续创新。