deepset/germanquad

GermanQuAD是一个高质量的人工标注的德语问答数据集，包含13,722个问题，其中包括一个三重标注的测试集。该数据集的创建灵感来源于现有数据集以及多个行业项目的标注经验。它结合了SQuAD的高域外性能和NaturalQuestions数据集中的自包含问题特点，适用于开放域问答任务。训练集和测试集不重叠，且包含无法通过单一实体或仅几个词回答的复杂问题。

原始信息汇总

数据集概述

数据集名称

• 名称: GermanQuAD

数据集描述

• 摘要: GermanQuAD 是一个高质量、人工标注的德语问答数据集，包含13,722个问题，其中包括一个三重标注的测试集。该数据集旨在提升非英语问答系统的性能。
• 语言: 德语 (de)

数据集结构

• 数据实例: 每个实例包含一个段落，其中包含一个问题和答案。
• 数据字段:
  • id: 字符串类型
  • context: 字符串类型
  • question: 字符串类型
  • answers: 字典类型，包含 text（字符串类型）和 answer_start（整数类型）
• 数据分割: 数据集分为训练集和测试集，训练集包含2540个段落和11,518个问题，测试集包含474个段落和2,204个问题。

支持的任务

• 任务: 提取式问答 (extractive-qa), 封闭域问答 (closed-domain-qa), 开放域问答 (open-domain-qa), 文本检索 (text-retrieval)
• 主要用途: 开放域问答

数据集创建者

• 创建者: Timo Möller, Julian Risch, Malte Pietsch, Julian Gutsch, Tom Hersperger, Luise Köhler, Iuliia Mozhina, Justus Peter
• 机构: deepset.ai

引用信息

@misc{möller2021germanquad, title={GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval}, author={Timo Möller and Julian Risch and Malte Pietsch}, year={2021}, eprint={2104.12741}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

背景与挑战

背景概述

GermanQuAD是一个高质量的德文问答数据集，包含13,722个人工标注的问题答案对，旨在提升非英语问答系统的性能。数据集支持开放域、封闭域和提取式问答任务，其训练集和测试集无重叠，且包含需要复杂推理的问题。