nlp-datasets

包含自然语言处理(NLP)用文本数据集的字母顺序列表，主要包含原始非结构化文本数据。

An alphabetical list of text datasets for Natural Language Processing (NLP), primarily comprising raw unstructured text data.

原始信息汇总

数据集概述

自然语言处理（NLP）相关数据集列表

本数据集列表包含多个公共领域和免费提供的文本数据集，适用于自然语言处理（NLP）的研究和应用。以下是部分数据集的详细信息：

1. Apache Software Foundation Public Mail Archives

   • 描述：所有公开的Apache Software Foundation邮件存档，截至2011年7月11日。
   • 大小：200 GB

2. Blog Authorship Corpus

   • 描述：收集自blogger.com的19,320名博主的帖子，包含681,288篇帖子和超过140百万单词。
   • 大小：298 MB

3. Amazon Fine Food Reviews [Kaggle]

   • 描述：包含568,454条亚马逊用户对食品的评论，截至2012年10月。
   • 大小：240 MB

4. Amazon Reviews

   • 描述：斯坦福大学收集的3500万亚马逊评论。
   • 大小：11 GB

5. ArXiv

   • 描述：arXiv存档中的所有论文全文及源文件。
   • 大小：270 GB（全文）+ 190 GB（源文件）

6. ASAP Automated Essay Scoring [Kaggle]

   • 描述：包含八组论文，每组由单一提示生成，由7至10年级学生撰写，均经过手工评分和双评分。
   • 大小：100 MB

7. ASAP Short Answer Scoring [Kaggle]

   • 描述：包含由单一提示生成的数据集，主要由10年级学生撰写，均经过手工评分和双评分。
   • 大小：35 MB

8. Classification of political social media

   • 描述：政治社交媒体消息的内容分类。
   • 大小：4 MB

9. CLiPS Stylometry Investigation (CSI) Corpus

   • 描述：每年扩展的学生文本语料库，主要用于文体学研究。
   • 大小：需请求

10. ClueWeb09 FACC

    • 描述：ClueWeb09数据集，带有Freebase注释。
    • 大小：72 GB

11. ClueWeb11 FACC

    • 描述：ClueWeb11数据集，带有Freebase注释。
    • 大小：92 GB

12. Common Crawl Corpus

    • 描述：包含超过50亿网页的网络爬虫数据。
    • 大小：541 TB

13. Cornell Movie Dialog Corpus

    • 描述：包含从电影剧本中提取的大量虚构对话。
    • 大小：9.5 MB

14. Corporate messaging

    • 描述：关于公司在社交媒体上实际讨论内容的数据分类。
    • 大小：600 KB

15. Crosswikis

    • 描述：英语短语与相关维基百科文章的数据库。
    • 大小：11 GB

16. DBpedia

    • 描述：从维基百科中提取的结构化信息。
    • 大小：17 GB

17. Death Row

    • 描述：自1984年以来被执行的每个囚犯的最后遗言。
    • 大小：HTML表格

18. Del.icio.us

    • 描述：125万条delicious.com书签。
    • 大小：170 MB

19. Disasters on social media

    • 描述：10,000条带有灾难事件标注的推文。
    • 大小：2 MB

20. Economic News Article Tone and Relevance

    • 描述：关于美国经济相关新闻文章的语气和相关性。
    • 大小：12 MB

21. Enron Email Data

    • 描述：包含1,227,255封电子邮件，覆盖151个保管人。
    • 大小：210 GB

22. Event Registry

    • 描述：提供来自全球100,000个新闻出版商的实时新闻文章访问。
    • 大小：查询工具

23. Examiner.com - Spam Clickbait News Headlines [Kaggle]

    • 描述：300万条由现已关闭的点击诱饵网站The Examiner发布的头条新闻。
    • 大小：200 MB

24. Federal Contracts from the Federal Procurement Data Center (USASpending.gov)

    • 描述：来自联邦采购数据中心的联邦合同数据。
    • 大小：180 GB

25. Flickr Personal Taxonomies

    • 描述：个人标签的树形数据集。
    • 大小：40 MB

26. Freebase Data Dump

    • 描述：Freebase中的所有当前事实和断言的数据转储。
    • 大小：26 GB

27. Freebase Simple Topic Dump

    • 描述：Freebase中每个主题的基本识别事实的数据转储。
    • 大小：5 GB

28. Freebase Quad Dump

    • 描述：Freebase中所有当前事实和断言的数据转储。
    • 大小：35 GB

29. German Political Speeches Corpus

    • 描述：德国顶级代表的近期演讲集合。
    • 大小：25 MB, 11 MTokens

30. GigaOM Wordpress Challenge [Kaggle]

    • 描述：博客文章、元数据、用户点赞。
    • 大小：1.5 GB

31. Google Books Ngrams

    • 描述：Google图书中的N-gram数据，也可在Amazon S3上以Hadoop格式提供。
    • 大小：2.2 TB

32. Google Web 5gram

    • 描述：包含英语单词N-gram及其观察频率计数。
    • 大小：24 GB

33. Gutenberg Ebook List

    • 描述：电子书的注释列表。
    • 大小：2 MB

34. Hansards text chunks of Canadian Parliament

    • 描述：加拿大议会官方记录（Hansards）中的130万对对齐文本块。
    • 大小：82 MB

35. Harvard Library

    • 描述：哈佛图书馆持有的超过1200万条书目记录，包括书籍、期刊、电子资源等。
    • 大小：4 GB

36. Hate speech identification

    • 描述：短文本，识别是否包含仇恨言论、攻击性言论或非攻击性言论。
    • 大小：3 MB

37. Hillary Clinton Emails [Kaggle]

    • 描述：近7,000页的克林顿电子邮件。
    • 大小：12 MB

38. Historical Newspapers Yearly N-grams and Entities Dataset

    • 描述：英国报纸档案库中1,000,000个最频繁的1-、2-和3-gram的年使用时间序列，以及100,000个最频繁的命名实体。
    • 大小：3.1 GB

39. Historical Newspapers Daily Word Time Series Dataset

    • 描述：1836年至1922年间，87年的英国和美国历史报纸中25,000个最频繁单词的每日使用时间序列。
    • 大小：2.7 GB

40. Home Depot Product Search Relevance [Kaggle]

    • 描述：包含Home Depot网站上的多个产品和真实客户搜索词，挑战是预测提供的搜索词和产品组合的相关性得分。
    • 大小：65 MB

41. Identifying key phrases in text

    • 描述：问题/答案对+上下文；上下文是否与问题/答案相关。
    • 大小：8 MB

42. Jeopardy

    • 描述：216,930个过去的Jeopardy问题存档。
    • 大小：53 MB

43. 200k English plaintext jokes

    • 描述：来自各种来源的208,000个纯文本笑话。
    • 大小：需请求

44. Machine Translation of European Languages

    • 描述：欧洲语言的机器翻译。
    • 大小：612 MB

45. Material Safety Datasheets

    • 描述：230,000份材料安全数据表。
    • 大小：3 GB

46. Million News Headlines - ABC Australia [Kaggle]

    • 描述：ABC新闻澳大利亚从2003年到2017年发布的130万个新闻头条。
    • 大小：56 MB

47. Millions of News Article URLs

    • 描述：2014年10月至2015年4月期间，来自950多个英语新闻网站首页的230万个新闻文章URL。
    • 大小：101 MB

48. MCTest

    • 描述：用于机器理解文本研究的660个故事和相关问题集。
    • 大小：1 MB

49. NEGRA

    • 描述：德语报纸文本的语法注释语料库，可供所有大学和非营利组织免费使用。
    • 大小：需请求

50. News Headlines of India - Times of India [Kaggle]

    • 描述：《印度时报》从2001年到2017年发布的270万个新闻头条，带类别。
    • 大小：185 MB

51. News article / Wikipedia page pairings

    • 描述：新闻文章与维基百科页面的配对。
    • 大小：6 MB

52. NIPS2015 Papers (version 2) [Kaggle]

    • 描述：NIPS2015会议的所有论文全文。
    • 大小：335 MB

53. NYTimes Facebook Data

    • 描述：纽约时报的所有Facebook帖子。
    • 大小：5 MB

54. One Week of Global News Feeds [Kaggle]

    • 描述：2017年8月一周内全球发布的140万篇新闻文章，涵盖20种语言。
    • 大小：115 MB

55. Objective truths of sentences/concept pairs

    • 描述：句子/概念对的客观真实性。
    • 大小：700 KB

56. Open Library Data Dumps

    • 描述：Open Library中所有记录的所有修订的数据转储。
    • 大小：16 GB

57. Personae Corpus

    • 描述：用于作者归属和个性预测实验的145篇荷兰语论文。
    • 大小：需请求

58. Reddit Comments

    • 描述：截至2015年7月的所有公开Reddit评论。
    • 大小：250 GB

59. Reddit Comments (May ‘15) [Kaggle]

    • 描述：上述数据集的子集。
    • 大小：8 GB

60. Reddit Submission Corpus

    • 描述：2006年1月至2015年8月31日的所有公开Reddit提交内容。
    • 大小：42 GB

61. Reuters Corpus

    • 描述：用于自然语言处理、信息检索和机器学习系统研究和开发的大型路透社新闻故事集合。
    • 大小：2.5 GB

62. SaudiNewsNet

    • 描述：来自各种在线沙特报纸的31,030篇阿拉伯新闻文章及元数据。
    • 大小：2 MB

63. SMS Spam Collection

    • 描述：5,574条英语、真实且非编码的SMS消息，标记为合法（ham）或垃圾邮件（spam）。
    • 大小：200 KB

64. SouthparkData

    • 描述：包含季节、剧集、角色和台词信息的.csv文件。
    • 大小：3.6 MB

65. Stanford Question Answering Dataset (SQUAD 2.0)

    • 描述：阅读理解数据集，包含由众包工作者在维基百科文章上提出的问题，答案为相应阅读段落中的文本段或无法回答的问题。
    • 大小：需请求

66. Stackoverflow

    • 描述：730万条StackOverflow问题及其他StackExchange网站的问题。
    • 大小：查询工具

67. Twitter Cheng-Caverlee-Lee Scrape

    • 描述：2009年9月至2010年1月期间的推文，地理位置定位。
    • 大小：400 MB

68. Twitter New England Patriots Deflategate sentiment

    • 描述：2015年超级碗前关于放气足球和爱国者队是否作弊的Twitter情绪分析。
    • 大小：2 MB

69. Twitter Progressive issues sentiment analysis

    • 描述：关于各种左倾问题的推文，如堕胎合法化、女权主义、希拉里·克林顿等，分类为支持、反对或中立。
    • 大小：600 KB

70. Twitter Sentiment140

    • 描述：与品牌/关键词相关的推文。
    • 大小：77 MB

71. Twitter sentiment analysis: Self-driving cars

    • 描述：关于自动驾驶汽车的推文，分类为非常积极、稍微积极、中性、稍微消极或非常消极。
    • 大小：1 MB

72. Twitter Elections Integrity

    • 描述：2016年美国选举中的所有可疑推文和媒体。
    • 大小：1.4 GB

73. Twitter Tokyo Geolocated Tweets

    • 描述：东京的20万条地理位置定位推文。
    • 大小：47 MB

74. Twitter UK Geolocated Tweets

    • 描述：英国的17万条地理位置定位推文。
    • 大小：47 MB

75. Twitter USA Geolocated Tweets

    • 描述：美国的20万条地理位置定位推文。
    • 大小：45 MB

76. Twitter US Airline Sentiment [Kaggle]

    • 描述：关于美国主要航空公司问题的情感分析工作。
    • 大小：2.5 MB

77. U.S. economic performance based on news articles

    • 描述：根据新闻文章标题和摘要对美国经济表现的排名。
    • 大小：5 MB

78. Urban Dictionary Words and Definitions [Kaggle]

    • 描述：截至2016年5月的所有Urban Dictionary单词、定义、作者、投票的清理CSV语料库。
    • 大小：238 MB

79. Wesbury Lab Usenet Corpus

    • 描述：2005-2010年间的47,860个英语新闻组的匿名汇编。
    • 大小：40 GB

80. Wesbury Lab Wikipedia Corpus

    • 描述：2010年4月对英语部分维基百科文章的快照，已处理以去除所有链接和无关材料。
    • 大小：1.8 GB

81. WorldTree Corpus of Explanation Graphs for Elementary Science Questions

    • 描述：为美国公开可用的小学科学考试问题构建的解释图语料库。
    • 大小：8 MB

82. Wikipedia Extraction (WEX)

    • 描述：英语维基百科的预处理转储。
    • 大小：66 GB

83. Wikipedia XML Data

    • 描述：所有维基媒体wiki的完整副本，以wikitext源和元数据嵌入XML的形式。
    • 大小：500 GB

84. Yahoo! Answers Comprehensive Questions and Answers

    • 描述：截至2007年10月25日的雅虎答案语料库，包含4,483,032个问题及其答案。
    • 大小：3.6 GB

85. Yahoo! Answers consisting of questions asked in French

    • 描述：2006年至2015年间，由法语提出的170万个问题及其答案的雅虎答案语料库子集。
    • 大小：3.8 GB

86. Yahoo! Answers Manner Questions

    • 描述：2007年10月25日转储的雅虎答案语料库子集，选定的问题具有特定的语言属性。

搜集汇总

数据集介绍

构建方式

nlp-datasets是一个包含众多自然语言处理（NLP）领域公开数据集的仓库。该数据集的构建主要通过收集和整理网络上可免费获取的文本数据，涵盖了从邮件存档、博客文章到新闻评论等多样化的文本资源。构建过程中注重数据的多样性和可用性，以满足不同NLP任务的需求。

使用方法

用户可以通过访问数据集中的URL链接直接下载所需的数据集。对于部分较大的数据集，可能需要科学计算环境或特定的工具来处理和分析数据。此外，用户应当遵守数据集的使用条款，尊重数据版权和隐私保护。

背景与挑战

背景概述

nlp-datasets是一个旨在为自然语言处理（NLP）研究提供丰富文本数据的集合。该数据集涵盖了从Apache软件基金会邮件存档到Yahoo! Answers的问题和答案，内容形式多样，包括但不限于博客文章、产品评论、新闻报道和社交媒体帖子等。创建于信息时代，nlp-datasets集合了众多研究机构和个人的努力，为NLP领域的研究提供了宝贵的信息资源。它的影响力在于能够促进语言模型、文本分类、情感分析等任务的算法研究和应用开发。

当前挑战

尽管nlp-datasets为NLP研究提供了丰富的数据资源，但其在构建和使用过程中也面临着诸多挑战。首先，数据集的多样性和规模带来了数据清洗、标注和管理的困难。其次，不同数据集的质量和格式不一，为数据整合和预处理带来了挑战。此外，随着NLP领域的不断发展，如何确保数据集的时效性和相关性也是一大挑战。最后，数据隐私和版权问题在构建开放数据集时也日益凸显。

常用场景

经典使用场景

nlp-datasets数据集的典型应用场景在于自然语言处理领域，特别是在模型训练和算法验证中。该数据集包含了丰富的文本资源，如Apache邮件存档、博客作者ship语料库、亚马逊商品评论等，这些资源为情感分析、文本分类、命名实体识别等NLP任务提供了基础数据支持。

解决学术问题

该数据集解决了自然语言处理领域中的多个学术研究问题，包括但不限于文本的情感倾向分析、作者的写作风格识别、以及不同语言之间的机器翻译等。通过提供大规模的标注数据，它为算法的精确度和泛化能力提供了可靠的评估标准。

实际应用

在实际应用中，nlp-datasets数据集可用于社交媒体分析、客户服务自动化、新闻监测等多个方面。例如，它可以用于分析社交媒体上的公众情绪，自动分类客户反馈，或者监测新闻媒体中的趋势和事件。

数据集最近研究

最新研究方向

自然语言处理领域近期的研究焦点主要集中在利用大规模文本数据集进行模型训练和任务学习。nlp-datasets数据集为研究者提供了丰富的文本资源，包括但不限于社交媒体数据、新闻文章、邮件档案等。这些数据集被用于情感分析、文本分类、机器翻译、信息检索等多个研究方向。当前，利用这些数据集进行深度学习模型训练，以提高自然语言理解的准确性和效率，是本领域的前沿研究方向。此外，研究者在探索如何通过这些数据集分析社会媒体上的舆论动态，以及评估和改善机器生成文本的质量和准确性。