nlp-datasets

包含用于自然语言处理的免费/公共领域文本数据集的字母顺序列表。

An alphabetical list of free/public domain text datasets for natural language processing.

原始信息汇总

数据集概述

自然语言处理（NLP）相关数据集列表

1. Apache Software Foundation Public Mail Archives

   • 描述：包含所有公开的Apache Software Foundation邮件档案，截至2011年7月11日。
   • 大小：200 GB

2. Blog Authorship Corpus

   • 描述：收集了2004年8月来自blogger.com的19,320名博主的帖子。
   • 大小：298 MB

3. Amazon Fine Food Reviews [Kaggle]

   • 描述：包含至2012年10月的568,454条亚马逊食品评论。
   • 大小：240 MB

4. Amazon Reviews

   • 描述：斯坦福大学收集的3500万条亚马逊评论。
   • 大小：11 GB

5. ArXiv

   • 描述：arXiv上的所有论文全文及源文件。
   • 大小：270 GB（全文）+ 190 GB（源文件）

6. ASAP Automated Essay Scoring [Kaggle]

   • 描述：包含八组论文，每组由单一提示生成。
   • 大小：100 MB

7. ASAP Short Answer Scoring [Kaggle]

   • 描述：包含由单一提示生成的数据集。
   • 大小：35 MB

8. Classification of political social media

   • 描述：政治社交媒体消息的内容分类。
   • 大小：4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

   • 描述：用于文体学研究的年度扩展学生文本语料库。
   • 大小：（需请求）

10. ClueWeb09 FACC

    • 描述：ClueWeb09数据集，带有Freebase注释。
    • 大小：72 GB

11. ClueWeb11 FACC

    • 描述：ClueWeb11数据集，带有Freebase注释。
    • 大小：92 GB

12. Common Crawl Corpus

    • 描述：包含超过50亿个网页的网络爬虫数据。
    • 大小：541 TB

13. Cornell Movie Dialog Corpus

    • 描述：包含从电影剧本中提取的大量虚构对话。
    • 大小：9.5 MB

14. Corporate messaging

    • 描述：关于公司在社交媒体上实际讨论内容的数据分类。
    • 大小：600 KB

15. Crosswikis

    • 描述：英文短语到相关维基百科文章的数据库。
    • 大小：11 GB

16. DBpedia

    • 描述：从维基百科中提取的结构化信息。
    • 大小：17 GB

17. Death Row

    • 描述：自1984年以来被执行的每个囚犯的最后遗言。
    • 大小：（HTML表格）

18. Del.icio.us

    • 描述：125万个delicious.com书签。
    • 大小：（未提供）

19. Disasters on social media

    • 描述：10,000条带有灾难事件标注的推文。
    • 大小：2 MB

20. Economic News Article Tone and Relevance

    • 描述：与美国经济相关的新闻文章及其语气。
    • 大小：12 MB

21. Enron Email Data

    • 描述：包含1,227,255封电子邮件，覆盖151个保管人。
    • 大小：210 GB

22. Event Registry

    • 描述：提供实时新闻文章访问的免费工具。
    • 大小：（查询工具）

23. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

    • 描述：联邦采购数据中心的所有联邦合同数据。
    • 大小：180 GB

24. Flickr Personal Taxonomies

    • 描述：个人标签的树形数据集。
    • 大小：40 MB

25. Freebase Data Dump

    • 描述：Freebase中的所有当前事实和断言的数据转储。
    • 大小：26 GB

26. Freebase Simple Topic Dump

    • 描述：Freebase中每个主题的基本识别事实的数据转储。
    • 大小：5 GB

27. Freebase Quad Dump

    • 描述：Freebase中所有当前事实和断言的数据转储。
    • 大小：35 GB

28. GigaOM Wordpress Challenge [Kaggle]

    • 描述：博客帖子、元数据、用户点赞数据。
    • 大小：1.5 GB

29. Google Books Ngrams

    • 描述：Google图书中的N-gram数据。
    • 大小：2.2 TB

30. Google Web 5gram

    • 描述：包含英语单词N-gram及其观察频率计数。
    • 大小：24 GB

31. Gutenberg Ebook List

    • 描述：古腾堡电子书列表。
    • 大小：2 MB

32. Hansards text chunks of Canadian Parliament

    • 描述：加拿大议会官方记录的130万对对齐文本块。
    • 大小：82 MB

33. Harvard Library

    • 描述：哈佛图书馆持有的超过1200万条书目记录。
    • 大小：4 GB

34. Hate speech identification

    • 描述：包含近15,000行文本，每行文本有三个贡献者判断。
    • 大小：3 MB

35. Hillary Clinton Emails [Kaggle]

    • 描述：近7,000页的克林顿电子邮件。
    • 大小：12 MB

36. Home Depot Product Search Relevance [Kaggle]

    • 描述：包含Home Depot网站上的产品和真实客户搜索词。
    • 大小：65 MB

37. Identifying key phrases in text

    • 描述：问题/答案对+上下文，上下文被判断是否与问题/答案相关。
    • 大小：8 MB

38. Jeopardy

    • 描述：216,930个Jeopardy问题存档。
    • 大小：53 MB

39. Machine Translation of European Languages

    • 描述：欧洲语言的机器翻译数据。
    • 大小：612 MB

40. Material Safety Datasheets

    • 描述：230,000份材料安全数据表。
    • 大小：3 GB

41. MCTest

    • 描述：用于研究机器文本理解的660个故事及其相关问题。
    • 大小：1 MB

42. NEGRA

    • 描述：德语报纸文本的语法标注语料库。
    • 大小：（需请求）

43. News article / Wikipedia page pairings

    • 描述：新闻文章与维基百科页面的配对。
    • 大小：6 MB

44. NIPS2015 Papers (version 2) [Kaggle]

    • 描述：所有NIPS2015论文的全文。
    • 大小：335 MB

45. NYTimes Facebook Data

    • 描述：所有NYTimes的Facebook帖子。
    • 大小：5 MB

46. Objective truths of sentences/concept pairs

    • 描述：句子/概念对的客观真理。
    • 大小：700 KB

47. Open Library Data Dumps

    • 描述：Open Library中所有记录的所有修订的数据转储。
    • 大小：16 GB

48. Personae Corpus

    • 描述：用于作者归属和个性预测实验的荷兰语语料库。
    • 大小：（需请求）

49. Reddit Comments

    • 描述：截至2015年7月的所有公开Reddit评论。
    • 大小：250 GB

50. Reddit Comments (May ‘15) [Kaggle]

    • 描述：上述数据集的子集。
    • 大小：8 GB

51. Reddit Submission Corpus

    • 描述：2006年1月至2015年8月31日的所有公开Reddit提交。
    • 大小：42 GB

52. Reuters Corpus

    • 描述：用于研究和开发自然语言处理、信息检索和机器学习系统的大型路透社新闻故事集合。
    • 大小：2.5 GB

53. SaudiNewsNet

    • 描述：来自各种在线沙特报纸的31,030篇阿拉伯语新闻文章及其元数据。
    • 大小：2 MB

54. SMS Spam Collection

    • 描述：5,574条英文、真实且非编码的SMS消息，标记为合法（ham）或垃圾邮件（spam）。
    • 大小：200 KB

55. SouthparkData

    • 描述：包含季节、剧集、角色和台词的.csv文件。
    • 大小：3.6 MB

56. Stackoverflow

    • 描述：730万条Stackoverflow问题及其他Stack Exchange站点数据。
    • 大小：（查询工具）

57. Twitter Cheng-Caverlee-Lee Scrape

    • 描述：2009年9月至2010年1月的推文，地理位置定位。
    • 大小：400 MB

58. Twitter New England Patriots Deflategate sentiment

    • 描述：2015年超级碗前关于足球漏气事件的推文情绪分析。
    • 大小：2 MB

59. Twitter Progressive issues sentiment analysis

    • 描述：关于各种左倾问题的推文，分类为支持、反对或中立。
    • 大小：600 KB

60. Twitter Sentiment140

    • 描述：与品牌/关键词相关的推文。
    • 大小：77 MB

61. Twitter sentiment analysis: Self-driving cars

    • 描述：关于自动驾驶汽车的推文情绪分析。
    • 大小：1 MB

62. Twitter Tokyo Geolocated Tweets

    • 描述：200,000条来自东京的推文。
    • 大小：47 MB

63. Twitter UK Geolocated Tweets

    • 描述：170,000条来自英国的推文。
    • 大小：47 MB

64. Twitter USA Geolocated Tweets

    • 描述：200,000条来自美国的推文。
    • 大小：45 MB

65. Twitter US Airline Sentiment [Kaggle]

    • 描述：关于美国主要航空公司问题的情绪分析。
    • 大小：2.5 MB

66. U.S. economic performance based on news articles

    • 描述：基于新闻文章的美国经济表现。
    • 大小：5 MB

67. Wesbury Lab Usenet Corpus

    • 描述：2005-2010年来自47,860个英语新闻组的匿名帖子汇编。
    • 大小：40 GB

68. Wesbury Lab Wikipedia Corpus

    • 描述：2010年4月对英语维基百科文章的快照。
    • 大小：1.8 GB

69. Wikipedia Extraction (WEX)

    • 描述：英语维基百科的加工转储。
    • 大小：66 GB

70. Wikipedia XML Data

    • 描述：所有维基媒体站点的完整副本，包括wiki文本源和嵌入XML的元数据。
    • 大小：500 GB

71. Yahoo! Answers Comprehensive Questions and Answers

    • 描述：截至2007年10月25日的Yahoo! Answers语料库。
    • 大小：3.6 GB

72. Yahoo! Answers consisting of questions asked in French

    • 描述：2006年至2015年间的170万个用法语提问的问题及其答案。
    • 大小：3.8 GB

73. Yahoo! Answers Manner Questions

    • 描述：Yahoo! Answers语料库的一个子集，用于其语言特性。
    • 大小：104 MB

74. Yahoo! HTML Forms Extracted from Publicly Available Webpages

    • 描述：从公开可用的网页中提取的复杂HTML表单的小样本。
    • 大小：50+ GB

75. Yahoo! Metadata Extracted from Publicly Available Web Pages

    • 描述：1亿个RDF数据三元组。
    • 大小：2 GB

76. Yahoo N-Gram Representations

    • 描述：N-gram表示的数据集。
    • 大小：2.6 GB

77. Yahoo! N-Grams, version 2.0

    • 描述：从1460万个文档中提取的N-grams（n=1至5）。
    • 大小：12 GB

78. Yahoo! Search Logs with Relevance Judgments

    • 描述：带有相关性判断的匿名Yahoo!搜索日志。
    • 大小：1.3 GB

79. Yahoo! Semantically Annotated Snapshot of the English Wikipedia

    • 描述：2006年11月4日处理的英语维基百科的语义标注快照。
    • 大小：6 GB

80. Yelp

    • 描述：包括餐厅排名和220万条评论。
    • 大小：（需请求）

81. Youtube

    • 描述：170万个YouTube视频描述。
    • 大小：（torrent）

以上数据集涵盖了从邮件档案、社交媒体数据、新闻文章到特定领域的评论和对话等多种文本数据，适用于自然语言处理的各种研究和应用。

搜集汇总

数据集介绍

构建方式

nlp-datasets是一个包含自然语言处理（NLP）领域公共数据集的列表，数据集涵盖从原始非结构化文本到经过注释的语料库等多种类型。该数据集的构建主要通过网络搜集公开的、免费的数据集，并对这些数据集进行分类整理，以便于研究者快速查找和利用。

特点

nlp-datasets的特点在于其全面性和开放性，包含了从Apache邮件存档到YouTube视频描述等多种类型的数据集。这些数据集不仅包含了大量的非结构化文本数据，还包括了一些经过专业标注的语料库，适用于不同的NLP研究和应用。此外，数据集的更新和维护也是其一大特色，保证了数据的时效性和可用性。

使用方法

用户可以通过直接访问数据集提供的链接来获取所需数据。对于部分需要申请或特殊处理的数据集，用户需要遵循相应的指南和流程。此外，数据集通常提供了详细的描述和元数据信息，用户在使用前应当仔细阅读，以确保正确理解和利用数据集。

背景与挑战

背景概述

nlp-datasets是一个旨在为自然语言处理（NLP）研究提供丰富文本数据的集合。该数据集涵盖了从Apache软件基金会邮件存档到Yahoo!答案的各种文本资源，创建于21世纪初，汇集了全球研究者和机构的共同努力。它的核心研究问题是提供多样化的文本数据，以促进NLP技术的发展和应用。nlp-datasets对相关领域的影响力在于，它不仅为研究者提供了大量未经处理的原始文本数据，还包含了经过注释的语料库和树库，为自然语言处理领域的研究提供了坚实的基础。

当前挑战

nlp-datasets在构建过程中遇到的挑战主要包括数据的多样性和质量保证。首先，数据集需要确保包含的文本数据覆盖NLP领域的各个方面，从基本的文本分类到复杂的语义理解。其次，数据的质量直接影响到NLP模型的性能，因此需要对数据进行严格的清洗和预处理。此外，所解决的领域问题，如文本分类、情感分析、机器翻译等，都需要面对如何从大量非结构化数据中提取有用信息，以及如何构建有效的模型来处理这些挑战。

常用场景

经典使用场景

nlp-datasets数据集广泛涵盖了自然语言处理领域所需的各种文本数据，其经典使用场景主要集中于机器学习模型的训练与测试。例如，亚马逊商品评论数据集可用于训练情感分析模型，以自动判断用户对商品的态度；而纽约时报的社交媒体数据则可用于分析新闻报道在社交媒体上的传播效果。

衍生相关工作

基于nlp-datasets的数据集，已经衍生出许多相关的工作。包括但不限于情感分析模型的构建、跨语言信息检索系统的开发、以及用于个性预测和作者归属的文本分析工具。这些工作进一步扩展了数据集的应用范围，推动了自然语言处理领域的发展。

数据集最近研究

最新研究方向

nlp-datasets数据集的近期研究方向主要集中在自然语言处理领域内的多样化应用，如情感分析、文本分类、机器翻译、风格识别等。研究者们利用这些丰富的文本资源，深入探索了语言模型、深度学习技术在处理大规模文本数据上的效能，以及如何在保持模型效率的同时提高准确率。此外，也有研究关注于数据集的构建与优化，以增强其在特定NLP任务中的适用性。