awesome-datasets

这是一个按用例分类的高质量带注释训练数据集的全面合集，覆盖音频、文档处理、图像处理和自然语言处理等领域，组织方式包括分类和子类别，旨在为数据爱好者提供资源索引。

This is a comprehensive collection of high-quality annotated training datasets categorized by use cases, spanning domains including audio, document processing, image processing, and natural language processing. It is structured with categories and subcategories, and aims to provide resource indexes for data enthusiasts.

原始信息汇总

数据集详情总结

项目概述

Awesome Datasets 是一个高质量标注数据集的精选列表，按使用场景分类。大多数数据集免费，部分需付费。

数据集分类与详情

音频 (Audio)

语音识别 (Speech Recognition)

• 英语 (English)
  • M-AILABS Speech Dataset: 包含1000小时音频及转录，涵盖多种语言，按男声、女声和混合排列，数据主要基于LibriVox和Project Gutenberg。
  • CREMA-D: 包含来自91名演员（48男43女，年龄20-74岁，多种种族）的7442个原始片段。

文档处理 (Document Processing)

涵盖法律、金融、技术等领域文档自动处理所需的各类数据集。

文档分类 (Document Classification)

• 英语 (English-1)
  • GHEGA: 包含两组文档：110份电子元件数据表和136份专利，各组内进一步分类。
  • RVL-CDIP Dataset: 包含400,000张灰度图像，16个类别（信件、备忘录、电子邮件、文件夹、表格、手写、发票、广告、预算、新闻文章、演示文稿、科学出版物、问卷、简历、科学报告、规范），每类25,000张图像。
  • Top Streamers on Twitch: 包含去年Top 1000主播的数据，涉及观众数、活跃观众数、粉丝增长等11个字段。

关键信息提取 (Key Information Extraction)

• 英语 (English-2)
  • CORD: 包含数千张印尼收据，提供OCR和解析的边界框、文本及多级语义标签。
  • FUNSD: 用于文本检测、OCR、空间布局分析和表单理解，包含199份完整注释表单、31,485个单词、9,707个语义实体、5,304个关系。
  • The Kleister NDA Dataset: 540份保密协议，3,229个独特页面，需提取2,160个实体。
  • The Kleister Charity Dataset: 2,788份慈善组织年度财务报告，61,643个独特页面，需提取21,612个实体。
  • NIST: 包含5,590页二进制黑白合成文档图像，含900个模拟税务提交、5,590张结构化表单图像及文本文件。
  • SROIE: 1,000张扫描收据图像及注释，用于收据OCR和关键信息提取竞赛。
• 多语言 (Multilingual)
  • GHEGA: 同文档分类中的GHEGA。
  • XFUND: 多语言表单理解基准数据集，包含7种语言（中文、日语、西班牙语、法语、意大利语、德语、葡萄牙语）的键值对标注。

光学字符识别 (Optical Character Recognition)

• 英语 (English-3)
  • FUNSD: 同关键信息提取中的FUNSD。
  • RDCL2019: 包含当代杂志和技术文章的扫描页。
  • SROIE: 同关键信息提取中的SROIE。
  • Synth90k: 包含900万张图像，覆盖90,000个英语单词。
  • Total Text Dataset: 包含1,555张图像，具有3种以上文本方向（水平、多方向、弯曲）。

文档布局分析 (Document Layout Analysis)

• 英语 (English-4)
  • DocBank: 包含500,000个文档页面，12种语义单元类型（摘要、作者、标题、日期、方程、图、页脚、列表、段落、参考文献、章节、表、标题）。
  • Layout Analysis Dataset: 包含多种布局的真实文档，侧重杂志和技术/科学出版物。
  • PubLayNet: 大型文档图像数据集，布局标注包含边界框和多边形分割。
  • TableBank: 基于Word和LaTeX文档弱监督构建的表检测和识别数据集，包含417,000个高质量标注表。
• 日语 (Japanese)
  • HJDataset: 包含超过250,000个七种类型布局元素标注，含边界框、掩码、层次结构和阅读顺序。

文档问答 (Document Question Answering)

• 英语 (English-5)
  • AmbigQA: 开放域问答任务数据集，涉及预测一组问答对。
  • Break: 问题理解数据集，训练模型对复杂问题进行推理。
  • chatterbot/english: 包含多种主题用于训练聊天机器人。
  • Coached Conversational Preference Elicitation: 12,000个标注语句，涉及用户和助手讨论电影偏好。
  • ConvAI2 Dataset: 包含超过2,000个PersonaChat竞赛对话。
  • Customer Support on Twitter: 超过300万条推文及品牌回复。
  • DocVQA: 包含50,000个问题和12,000张图像，来自UCSF Industry Documents Library。
  • DuReader 2.0: 大规模中文开放域阅读理解数据集，包含超过300,000个问题、140万个文档及人工生成答案。
  • HotpotQA: 包含113,000个基于Wikipedia的问答对，强调多跳推理。
  • Maluuba Goal-Oriented Dialogue: 开放对话数据集，聚焦任务型对话（找航班和酒店），涵盖250家以上酒店、航班和目的地。
  • Multi-Domain Wizard-of-Oz Dataset (MultiWOZ): 包含10,000个跨域对话，覆盖多个领域。
  • NarrativeQA: 包含约45,000对自由文本问答对，涉及整本书或电影剧本推理。
  • Natural Questions (NQ): 包含300,000个自然问题及Wikipedia人工标注答案，另有16,000个由5个不同标注者提供的示例。
  • OpenBookQA: 基于1,329个小学科学事实的开放书考试问答数据集，约6,000个问题。
  • QASC: 包含9,980个8选选择题，涉及小学科学，附有170万句语料库。
  • QuAC: 包含14,000个信息寻求性QA对话（共100,000个问题）。
  • RecipeQA: 包含36,000个多模态问答对，涉及约20,000个独特食谱。
  • Relational Strategies in Customer Service (RSiCS) Dataset: 旅行相关客服数据集，来自四个来源，含2016年8月客服日志和论坛数据。
  • Santa Barbara Corpus of Spoken American English: 包含约249,000词转录、音频及语调单元时间戳。
  • SGD (Schema-Guided Dialogue) Dataset: 包含超过16,000个多域对话，覆盖16个领域。

图像处理 (Image Processing)

实例分割 (Instance Segmentation)

• 国防 (Defense): 数据集待详列
• 制造业 (Manufacturing): 数据集待详列
• 医疗 (Medical): 数据集待详列

自然语言处理 (Natural Language Processing)

命名实体识别 (Named-Entity Recognition)

• 英语 (English-6): 涵盖国防、金融、医疗、新闻、查询、社交媒体、技术、Twitter、多种及Wikipedia等领域。
• 法语 (French): 涵盖医疗、新闻、Twitter、Wikipedia等领域。

关系抽取 (Relation Extraction)

• 数据集待详列

搜集汇总

数据集介绍

构建方式

该数据集是一个精心整理的高质量标注数据集索引，由社区贡献者共同维护。其构建方式基于对公开可用数据集的系统化收集与分类，涵盖了音频、文档处理、图像处理和自然语言处理等多个领域。每个数据集条目均附有来源链接、简要描述及可视化预览，部分数据集还提供了详细的标注信息，如边界框坐标、文本内容和语义标签。该索引通过GitHub平台进行版本管理和协作更新，鼓励用户通过提交问题或贡献指南参与扩充，从而确保资源库的持续增长与时效性。

特点

该数据集的显著特点在于其广泛覆盖性与结构化组织。它按应用场景划分为音频、文档处理、图像处理和自然语言处理等大类，并在每个类别下进一步细分为具体任务，如语音识别、文档分类、关键信息提取、命名实体识别等。每个数据集条目均包含高质量标注，例如CORD数据集提供印尼语收据的OCR与语义标签，FUNSD数据集包含199份完整标注表单。此外，数据集来源多样，涵盖学术研究、工业应用和开放竞赛，如DocVQA包含5万问题与1.2万图像，充分满足不同研究需求。

使用方法

用户可通过GitHub仓库直接访问该数据集索引。每个数据集条目均提供外部链接，用户可点击跳转至原始数据源进行下载。部分数据集如M-AILABS Speech Dataset和CREMA-D可直接通过链接获取音频与转录数据。对于文档处理任务，用户可使用RVL-CDIP、CORD等数据集进行模型训练与评估。该索引还支持按语言和领域筛选，例如XFUND提供7种语言的表单理解数据。用户可通过提交问题或贡献新数据集参与维护，从而丰富资源库的实用性。

背景与挑战

背景概述

在人工智能与数据科学蓬勃发展的时代，高质量标注数据集是驱动模型性能跃升的基石。Awesome Datasets项目由一群致力于数据生态建设的匿名研究者于近年发起，旨在系统性地收集并分类整理各领域的高质量标注数据集，涵盖音频、文档处理、图像处理及自然语言处理等关键方向。该项目不仅为研究者提供了便捷的数据检索入口，更通过社区协作机制持续扩充资源，对推动智能文档理解、语音识别、问答系统等前沿领域的发展产生了深远影响。其核心研究问题聚焦于如何构建一个覆盖广泛、分类精细且持续更新的数据集索引，以应对人工智能研究对数据多样性与规范性的迫切需求。

当前挑战

当前数据集领域面临多重挑战：首先，跨模态与跨语言的数据标注标准不统一，例如文档处理中的关键信息提取任务在英语与多语言场景下存在标签粒度差异，制约了模型的泛化能力；其次，高质量标注数据的获取成本高昂，如CORD数据集仅包含数千张印尼收据，而实际工业场景需覆盖海量变体；再者，数据集的动态更新与维护机制薄弱，许多资源（如M-AILABS语音数据集）依赖第三方项目，存在版本失效风险；最后，现有索引缺乏对数据质量、版权状态及伦理合规性的系统评估，增加了研究者的筛选负担。

常用场景

经典使用场景

该数据集集合了涵盖音频、文档处理、图像处理和自然语言处理等多个领域的标注数据，为研究人员提供了一个全面的资源库。在经典使用场景中，它常被用于文档智能处理任务，如文档分类、关键信息提取、光学字符识别和文档布局分析。例如，RVL-CDIP数据集被广泛用于文档图像分类，FUNSD和SROIE则成为表单理解和收据信息抽取的基准。此外，在自然语言处理领域，该集合中的命名实体识别和关系抽取数据集，如面向金融、医疗和社交媒体领域的标注数据，为训练和评估各种序列标注模型提供了丰富的素材。

衍生相关工作

该数据集集合衍生了一系列具有深远影响的经典工作。在文档理解领域，基于RVL-CDIP和FUNSD，研究者提出了LayoutLM、DocFormer等多模态预训练模型，开创性地将文本与布局信息融合，显著提升了表单和收据理解的效果。在问答系统方向，Natural Questions和HotpotQA催生了Dense Passage Retrieval和REALM等检索增强生成模型，推动了开放域问答的范式革新。此外，MultiWOZ数据集激发了大量对话状态跟踪和策略优化研究，如TRADE和SOM-DST等模型，为构建更自然、更高效的多领域对话系统提供了方法论支撑。

数据集最近研究

最新研究方向

在人工智能与文档智能处理领域，随着多模态大模型与深度学习技术的飞速发展，高质量标注数据集的研究方向正从单一模态向跨模态、多语言与复杂场景理解纵深演进。当前，前沿研究聚焦于构建覆盖文档分类、关键信息抽取、版面分析与文档问答的综合性数据集，以应对金融、法律、医疗等行业对非结构化文档自动化处理的迫切需求。例如，XFUND等跨语言表单理解基准的推出，推动了多语言环境下键值对抽取技术的突破；而DocVQA、HotpotQA等问答数据集则通过引入多跳推理与上下文理解，显著提升了模型在复杂文档中的语义解析能力。这些数据集不仅为学术研究提供了标准化评估平台，更在智能客服、自动化审计等热点应用中展现出巨大潜力，深刻影响着企业数字化转型的进程与效率。