nlp-datasets

包含自然语言处理(NLP)使用的免费/公共领域文本数据集的字母顺序列表。

An alphabetically ordered list of free/public domain text datasets used in Natural Language Processing (NLP).

原始信息汇总

数据集概述

自然语言处理（NLP）相关数据集列表

1. Apache Software Foundation Public Mail Archives

   • 描述: 包含截至2011年7月11日所有公开的Apache软件基金会邮件存档。
   • 大小: 200 GB

2. Blog Authorship Corpus

   • 描述: 收集自2004年8月的19,320名博客作者的文章，共681,288篇，超过140百万字。
   • 大小: 298 MB

3. Amazon Fine Food Reviews [Kaggle]

   • 描述: 包含截至2012年10月的568,454条亚马逊用户对食品的评论。
   • 大小: 240 MB

4. Amazon Reviews

   • 描述: 斯坦福大学收集的3500万条亚马逊评论。
   • 大小: 11 GB

5. ArXiv

   • 描述: 包含arXiv上的所有论文全文及源文件。
   • 大小: 270 GB (全文) + 190 GB (源文件)

6. CLiPS Stylometry Investigation (CSI) Corpus

   • 描述: 每年扩充的学生文本，主要用于文体学研究。
   • 大小: 需请求

7. ClueWeb09 FACC

   • 描述: ClueWeb09数据集，带有Freebase注释。
   • 大小: 72 GB

8. ClueWeb11 FACC

   • 描述: ClueWeb11数据集，带有Freebase注释。
   • 大小: 92 GB

9. Common Crawl Corpus

   • 描述: 包含超过50亿网页的网络爬虫数据。
   • 大小: 541 TB

10. Cornell Movie Dialog Corpus

    • 描述: 包含617部电影中的220,579次对话。
    • 大小: 9.5 MB

11. Crosswikis

    • 描述: 英文短语与相关维基百科文章的数据库。
    • 大小: 11 GB

12. DBpedia

    • 描述: 从维基百科提取的结构化信息。
    • 大小: 17 GB

13. Death Row

    • 描述: 包含自1984年以来被执行的囚犯的最后遗言。
    • 大小: HTML表格

14. Diplomacy

    • 描述: 包含17,000条来自12场外交游戏的对话消息，注释了真实性。
    • 大小: 3 MB

15. Elsevier OA CC-BY Corpus

    • 描述: 包含40,001篇开放获取科学文章的全文及完整元数据。
    • 大小: 963 MB

16. Enron Email Data

    • 描述: 包含1,227,255封电子邮件及493,384个附件。
    • 大小: 210 GB

17. Event Registry

    • 描述: 提供实时访问全球100,000家新闻出版商的新闻文章的工具。
    • 大小: 查询工具

18. Examiner.com - Spam Clickbait News Headlines [Kaggle]

    • 描述: 包含2010至2015年间已关闭的点击诱饵网站The Examiner发布的300万条新闻标题。
    • 大小: 200 MB

19. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

    • 描述: 包含联邦采购数据中心的所有联邦合同数据。
    • 大小: 180 GB

20. Flickr Personal Taxonomies

    • 描述: 个人标签的树形数据集。
    • 大小: 40 MB

21. Freebase Data Dump

    • 描述: 包含Freebase中的所有当前事实和断言。
    • 大小: 26 GB

22. Freebase Simple Topic Dump

    • 描述: 包含Freebase中每个主题的基本识别事实。
    • 大小: 5 GB

23. Freebase Quad Dump

    • 描述: 包含Freebase中的所有当前事实和断言。
    • 大小: 35 GB

24. GigaOM Wordpress Challenge [Kaggle]

    • 描述: 包含博客文章、元数据和用户点赞数据。
    • 大小: 1.5 GB

25. Google Books Ngrams

    • 描述: 包含Google图书中的n-grams数据，也可在Amazon S3上以Hadoop格式获取。
    • 大小: 2.2 TB

26. Google Web 5gram

    • 描述: 包含英语单词n-grams及其观察频率计数。
    • 大小: 24 GB

27. Gutenberg Ebook List

    • 描述: 包含电子书的注释列表。
    • 大小: 2 MB

28. Gutenberg Standardized Corpus

    • 描述: 标准化的Project Gutenberg语料库，包含55,905本书。
    • 大小: 3GB (计数) + 18GB (令牌)

29. Hansards text chunks of Canadian Parliament

    • 描述: 包含加拿大第36届议会的官方记录中的130万对对齐文本块。
    • 大小: 82 MB

30. Harvard Library

    • 描述: 包含哈佛图书馆持有的超过1200万条书目记录。
    • 大小: 4 GB

31. Hate speech identification

    • 描述: 包含近15,000行文本，每行文本都有三个贡献者的判断。
    • 大小: 3 MB

32. Hillary Clinton Emails [Kaggle]

    • 描述: 包含近7,000页克林顿的电子邮件。
    • 大小: 12 MB

33. Historical Newspapers Yearly N-grams and Entities Dataset

    • 描述: 包含英国报纸档案库中1,000,000个最频繁的1-, 2-, 和3-grams的年使用时间序列，以及100,000个最频繁的命名实体链接至维基百科。
    • 大小: 3.1 GB

34. Historical Newspapers Daily Word Time Series Dataset

    • 描述: 包含1836至1922年间87年的英国和美国历史报纸中25,000个最频繁单词的每日使用时间序列。
    • 大小: 2.7 GB

35. Home Depot Product Search Relevance [Kaggle]

    • 描述: 包含Home Depot网站上的产品和真实客户搜索词。
    • 大小: 65 MB

36. Identifying key phrases in text

    • 描述: 包含问题/答案对及其上下文，上下文被判断是否与问题/答案相关。
    • 大小: 8 MB

37. Jeopardy

    • 描述: 包含216,930个过去的Jeopardy问题。
    • 大小: 53 MB

38. 200k English plaintext jokes

    • 描述: 包含208,000个来自各种来源的纯文本笑话。
    • 大小: 需请求

39. Machine Translation of European Languages

    • 描述: 包含欧洲语言的机器翻译数据。
    • 大小: 612 MB

40. Material Safety Datasheets

    • 描述: 包含230,000个材料安全数据表。
    • 大小: 3 GB

41. Million News Headlines - ABC Australia [Kaggle]

    • 描述: 包含ABC新闻澳大利亚从2003至2017年发布的130万条新闻标题。
    • 大小: 56 MB

42. Millions of News Article URLs

    • 描述: 包含2014年10月至2015年4月间超过950个英语新闻网站的前页的230万个新闻文章URL。
    • 大小: 101 MB

43. News Headlines of India - Times of India [Kaggle]

    • 描述: 包含《印度时报》从2001至2017年发布的270万条新闻标题。
    • 大小: 185 MB

44. News article / Wikipedia page pairings

    • 描述: 包含新闻文章与维基百科页面的配对数据。
    • 大小: 6 MB

45. NIPS2015 Papers (version 2) [Kaggle]

    • 描述: 包含所有NIPS2015论文的全文。
    • 大小: 335 MB

46. NYTimes Facebook Data

    • 描述: 包含所有《纽约时报》的Facebook帖子。
    • 大小: 5 MB

47. One Week of Global News Feeds [Kaggle]

    • 描述: 包含2017年8月一周内全球20种语言发布的140万篇文章。
    • 大小: 115 MB

48. Objective truths of sentences/concept pairs

    • 描述: 包含句子/概念对的客观真理数据。
    • 大小: 700 KB

49. Open Library Data Dumps

    • 描述: 包含Open Library中所有记录的所有修订的转储。
    • 大小: 16 GB

50. Personae Corpus

    • 描述: 用于作者归属和个性预测实验的145名荷兰语学生的文章。
    • 大小: 需请求

51. Reddit Comments

    • 描述: 包含截至2015年7月的所有公开Reddit评论。
    • 大小: 250 GB

52. Reddit Comments (May ‘15) [Kaggle]

    • 描述: 上述数据集的子集。
    • 大小: 8 GB

53. Reddit Submission Corpus

    • 描述: 包含2006年1月至2015年8月31日的所有公开Reddit提交。
    • 大小: 42 GB

54. Reuters Corpus

    • 描述: 用于自然语言处理、信息检索和机器学习系统研究的大型路透社新闻故事集合。
    • 大小: 2.5 GB

55. SMS Spam Collection

    • 描述: 包含5,574条英语、真实且非编码的SMS消息，标记为合法（ham）或垃圾邮件（spam）。
    • 大小: 200 KB

56. SouthparkData

    • 描述: 包含《南方公园》剧本信息的.csv文件，包括季节、集数、角色和台词。
    • 大小: 3.6 MB

57. Stanford Question Answering Dataset (SQUAD 2.0)

    • 描述: 包含由众包工作者在维基百科文章上提出的问题，答案为相应阅读段落中的文本段，或问题可能无法回答。
    • 大小: 需请求

58. Stackoverflow

    • 描述: 包含730万条Stack Overflow问题及其他Stack Exchange网站的数据。
    • 大小: 查询工具

59. Twitter Cheng-Caverlee-Lee Scrape

    • 描述: 包含2009年9月至2010年1月的地理位置定位推文。
    • 大小: 400 MB

60. Twitter New England Patriots Deflategate sentiment

    • 描述: 包含2015年超级碗前关于泄气足球和爱国者队是否作弊的Twitter情感分析数据。
    • 大小: 2 MB

61. Twitter Progressive issues sentiment analysis

    • 描述: 包含关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
    • 大小: 600 KB

62. Twitter Sentiment140

    • 描述: 包含与品牌/关键词相关的推文。
    • 大小: 77 MB

63. Twitter sentiment analysis: Self-driving cars

    • 描述: 包含关于自动驾驶汽车的推文，分类为非常积极、稍微积极、中性、稍微消极或非常消极。
    • 大小: 1 MB

64. Twitter Elections Integrity

    • 描述: 包含2016年美国选举中的所有可疑推文和媒体。
    • 大小: 1.4 GB

65. Twitter Tokyo Geolocated Tweets

    • 描述: 包含200,000条来自东京的地理定位推文。
    • 大小: 47 MB

66. Twitter UK Geolocated Tweets

    • 描述: 包含170,000条来自英国的地理定位推文。
    • 大小: 47 MB

67. Twitter USA Geolocated Tweets

    • 描述: 包含200,000条来自美国的地理定位推文。
    • 大小: 45 MB

68. Twitter US Airline Sentiment [Kaggle]

    • 描述: 包含关于美国主要航空公司问题的情感分析数据。
    • 大小: 2.5 MB

69. U.S. economic performance based on news articles

    • 描述: 包含新闻文章标题和摘录，排名是否与美国经济相关。
    • 大小: 5 MB

70. Urban Dictionary Words and Definitions [Kaggle]

    • 描述: 包含截至2016年5月的所有Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
    • 大小: 238 MB

71. Wesbury Lab Usenet Corpus

    • 描述: 包含2005-2010年间来自47,860个英语新闻组的匿名汇编帖子。
    • 大小: 40 GB

72. Wesbury Lab Wikipedia Corpus

    • 描述: 包含2010年4月对英语维基百科文章的快照，去除了所有链接和无关材料。
    • 大小: 1.8 GB

73. WorldTree Corpus of Explanation Graphs for Elementary Science Questions

    • 描述: 包含为美国公开可用的小学科学考试问题手动构建的解释图、解释角色评级和相关半结构化表格存储。
    • 大小: 8 MB

74. Wikipedia Extraction (WEX)

    • 描述: 包含英语维基百科的加工转储。
    • 大小: 66 GB

75. Wikipedia XML Data

    • 描述: 包含所有维基媒体维基的完整副本，形式为wikitext源和嵌入在XML中的元数据。
    • 大小: 500 GB

76. Yahoo! Answers Comprehensive Questions and Answers

    • 描述: 包含截至2007年10月25日的雅虎答案语料库，包含4,483,032个问题及其答案。
    • 大小: 3.6 GB

77. Yahoo! Answers consisting of questions asked in French

    • 描述: 包含2006至2015年间在法语中提出的170万个问题及其相应的答案。
    • 大小: 3.8 GB

78. Yahoo! Answers Manner Questions

    • 描述: 包含2007年10月25日转储的雅虎答案语料库的子集，选定用于其语言属性。
    • 大小: 104 MB

79. Yahoo! HTML Forms Extracted from Publicly Available Webpages

    • 描述: 包含从公开可用的网页中提取的小样本复杂HTML表单，包含267万个复杂表单。
    • 大小: 50+ GB

80. Yahoo! Metadata Extracted from Publicly Available Web Pages

    • 描述: 包含1亿个RDF数据三元组。
    • 大小: 2 GB

81. Yahoo N-Gram Representations

    • 描述: 包含n-gram表示的数据集。
    • 大小: 2.6 GB

82

搜集汇总

数据集介绍

构建方式

nlp-datasets 数据集的构建方式主要依赖于从多个公开来源收集和整理自然语言处理（NLP）相关的文本数据。这些数据来源包括但不限于邮件存档、博客文章、商品评论、学术论文、社交媒体内容以及新闻文章等。数据集通过自动化脚本和手动筛选相结合的方式进行整理，确保数据的多样性和广泛性。部分数据还通过众包平台进行标注，以增强数据的可用性和研究价值。

特点

nlp-datasets 数据集的特点在于其广泛的覆盖范围和多样化的数据类型。数据集涵盖了从结构化数据（如商品评论、学术论文）到非结构化数据（如社交媒体内容、新闻文章）的多种形式。此外，数据集的规模从几百兆字节到数百千兆字节不等，能够满足不同规模的研究需求。数据集中的部分内容还经过了人工标注，适用于情感分析、文本分类、机器翻译等多种NLP任务。

使用方法

nlp-datasets 数据集的使用方法灵活多样，适用于多种自然语言处理任务。研究人员可以通过下载数据集并使用常见的NLP工具（如NLTK、spaCy、Transformers等）进行数据预处理和分析。对于标注数据，可以直接用于监督学习任务；对于未标注数据，则可以通过无监督或半监督学习方法进行模型训练。此外，数据集还支持通过API接口进行实时数据访问，便于动态数据分析和应用开发。

背景与挑战

背景概述

nlp-datasets 是一个专注于自然语言处理（NLP）领域的公开数据集集合，涵盖了从邮件存档、博客文章、商品评论到新闻文章、社交媒体数据等多种类型的文本数据。该数据集的创建旨在为研究人员和开发者提供一个广泛且多样化的文本数据资源，以支持各种NLP任务的研究与开发。其核心研究问题包括文本分类、情感分析、机器翻译、信息检索等。该数据集的影响力在于其广泛的数据来源和多样性，为NLP领域的研究提供了丰富的实验材料，推动了该领域的技术进步。

当前挑战

nlp-datasets 面临的挑战主要包括两个方面：首先，数据集的多样性和规模虽然为研究提供了丰富的资源，但也带来了数据预处理和标注的复杂性。由于数据来源广泛，格式和结构各异，研究人员需要花费大量时间进行数据清洗和标准化处理。其次，数据集的构建过程中，如何确保数据的质量和代表性是一个重要挑战。例如，社交媒体数据可能包含大量噪声和非正式语言，而新闻数据则可能存在偏见或时效性问题。此外，部分数据集涉及隐私和版权问题，如何在合法合规的前提下使用这些数据也是研究人员需要面对的难题。

常用场景

经典使用场景

nlp-datasets数据集广泛应用于自然语言处理（NLP）领域的研究与开发。其经典使用场景包括文本分类、情感分析、机器翻译、信息检索以及语言模型训练等。例如，Amazon Fine Food Reviews数据集常用于情感分析任务，帮助研究者理解用户对产品的评价；而Cornell Movie Dialog Corpus则被用于对话系统的开发，通过分析电影对话数据来提升聊天机器人的自然语言生成能力。

衍生相关工作

nlp-datasets衍生了许多经典的研究工作。例如，基于Google Books Ngrams数据集的研究揭示了语言演变的规律，推动了计算语言学的发展；而使用Common Crawl Corpus的研究则在大规模网络文本分析中取得了重要突破。此外，基于SQuAD数据集的BERT模型在问答任务中取得了显著成果，成为自然语言处理领域的里程碑式工作。这些衍生研究不仅推动了学术进步，也为工业界的技术创新提供了重要参考。

数据集最近研究

最新研究方向

近年来，随着自然语言处理（NLP）技术的迅猛发展，nlp-datasets数据集在多个前沿研究方向上展现出重要价值。首先，情感分析领域借助Amazon Fine Food Reviews和Twitter Sentiment140等数据集，推动了情感分类和情感强度预测的算法优化。其次，问答系统研究通过Stanford Question Answering Dataset (SQuAD 2.0)等数据集，显著提升了机器阅读理解能力。此外，文本生成和对话系统研究得益于Cornell Movie Dialog Corpus和Reddit Comments等数据集，推动了生成式模型的创新。这些数据集不仅为学术界提供了丰富的研究资源，也为工业界的应用落地奠定了坚实基础，进一步推动了NLP技术的普及与深化。