khalidalt/tydiqa-goldp

TyDi QA是一个涵盖11种类型多样语言的问答数据集，包含204K个问答对。这些语言在类型学上具有多样性，即每种语言表达的语言特征集合，因此我们期望在此数据集上表现良好的模型能够泛化到世界上大量语言。它包含了在仅英语语料库中找不到的语言现象。为了提供一个真实的信息搜索任务并避免启动效应，问题是由想要知道答案但还不知道答案的人编写的（与SQuAD及其后代不同），并且数据是直接以每种语言收集的，而不使用翻译（与MLQA和XQuAD不同）。

TyDi QA is a question answering dataset covering 11 typologically diverse languages, containing 204K question-answer pairs. These languages are typologically diverse, meaning each language possesses a distinct set of linguistic features; thus, models that perform well on this dataset are expected to generalize to a large number of the world's languages. It includes linguistic phenomena that cannot be found in English-only corpora. To create a realistic information-seeking task and avoid priming effects, the questions were written by people who wanted to know the answers but did not already have them (unlike SQuAD and its successors), and the data was collected directly in each target language without any translation (unlike MLQA and XQuAD).

原始信息汇总

数据集概述

基本信息

• 数据集名称: TyDi QA
• 标注创建者: 众包
• 语言创建者: 众包
• 语言: 英语、阿拉伯语、孟加拉语、芬兰语、印度尼西亚语、日语、斯瓦希里语、韩语、俄语、泰卢固语、泰语
• 许可证: Apache 2.0
• 多语言性: 多语言
• 数据集大小: 未知
• 源数据集: 扩展自维基百科
• 任务类别: 问答
• 任务ID: 抽取式问答
• PapersWithCode ID: tydi-qa

数据集描述

数据集摘要

TyDi QA 是一个涵盖 11 种类型多样语言的问答数据集，包含 204K 个问答对。这些语言在类型学上具有多样性，使得在该数据集上表现良好的模型能够泛化到世界上大多数语言。该数据集包含不会在仅英语语料库中发现的语言现象。为了提供一个现实的信息寻求任务并避免提示效应，问题由想要知道答案但尚未知道答案的人编写，这与 SQuAD 及其后代不同，并且数据直接在每种语言中收集，无需翻译，这与 MLQA 和 XQuAD 不同。

数据结构

数据实例

• primary_task:

  • 下载数据文件大小: 1863.37 MB
  • 生成数据集大小: 5757.59 MB
  • 总磁盘使用量: 7620.96 MB
  • 验证集示例: json { "annotations": { "minimal_answers_end_byte": [-1, -1, -1], "minimal_answers_start_byte": [-1, -1, -1], "passage_answer_candidate_index": [-1, -1, -1], "yes_no_answer": ["NONE", "NONE", "NONE"] }, "document_plaintext": ""\nรองศาสตราจารย์[1] หม่อมราชวงศ์สุขุมพันธุ์ บริพัตร (22 กันยายน 2495 -) ผู้ว่าราชการกรุงเทพมหานครคนที่ 15 อดีตรองหัวหน้าพรรคปร...", "document_title": "หม่อมราชวงศ์สุขุมพันธุ์ บริพัตร", "document_url": ""https://th.wikipedia.org/wiki/%E0%B8%AB%E0%B8%A1%E0%B9%88%E0%B8%AD%E0%B8%A1%E0%B8%A3%E0%B8%B2%E0%B8%8A%E0%B8%A7%E0%B8%87%E0%B8%...", "language": "thai", "passage_answer_candidates": "{"plaintext_end_byte": [494, 1779, 2931, 3904, 4506, 5588, 6383, 7122, 8224, 9375, 10473, 12563, 15134, 17765, 19863, 21902, 229...", "question_text": ""หม่อมราชวงศ์สุขุมพันธุ์ บริพัตร เรียนจบจากที่ไหน ?"..." }

• secondary_task:

  • 下载数据文件大小: 1863.37 MB
  • 生成数据集大小: 55.34 MB
  • 总磁盘使用量: 1918.71 MB
  • 验证集示例: json { "answers": { "answer_start": [394], "text": ["بطولتين"] }, "context": ""أقيمت البطولة 21 مرة، شارك في النهائيات 78 دولة، وعدد الفرق التي فازت بالبطولة حتى الآن 8 فرق، ويعد المنتخب البرازيلي الأكثر تت...", "id": "arabic-2387335860751143628-1", "question": ""كم عدد مرات فوز الأوروغواي ببطولة كاس العالم لكرو القدم؟"...", "title": "قائمة نهائيات كأس العالم" }

数据字段

primary_task

• passage_answer_candidates: 包含以下字段:
  • plaintext_start_byte: int32
  • plaintext_end_byte: int32
• question_text: string
• document_title: string
• language: string
• annotations: 包含以下字段:
  • passage_answer_candidate_index: int32
  • minimal_answers_start_byte: int32
  • minimal_answers_end_byte: int32
  • yes_no_answer: string
• document_plaintext: string
• document_url: string

secondary_task

• id: string
• title: string
• context: string
• question: string
• answers: 包含以下字段:
  • text: string
  • answer_start: int32

数据分割

名称	训练集	验证集
primary_task	166916	18670
secondary_task	49881	5077

引用信息

@article{tydiqa, title = {TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author = {Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki} year = {2020}, journal = {Transactions of the Association for Computational Linguistics} }

@inproceedings{ruder-etal-2021-xtreme, title = "{XTREME}-{R}: Towards More Challenging and Nuanced Multilingual Evaluation", author = "Ruder, Sebastian and Constant, Noah and Botha, Jan and Siddhant, Aditya and Firat, Orhan and Fu, Jinlan and Liu, Pengfei and Hu, Junjie and Garrette, Dan and Neubig, Graham and Johnson, Melvin", booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing", month = nov, year = "2021", address = "Online and Punta Cana, Dominican Republic", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2021.emnlp-main.802", doi = "10.18653/v1/2021.emnlp-main.802", pages = "10215--10245", }

搜集汇总

数据集介绍

构建方式

在信息检索与自然语言处理领域，多语言问答数据集的构建一直是研究难点。TyDi QA 数据集以维基百科为源数据，覆盖英语、阿拉伯语、孟加拉语等11种类型学上高度多样的语言。其构建过程摒弃了传统翻译方法，而是直接在各语言环境中由母语者撰写问题。这些提问者事先不知道答案，从而模拟真实的信息寻求场景，避免了SQuAD等数据集中的提示偏差。每个问题对应文档中的候选段落，并由多名标注者通过众包方式标注最小答案区间及是非回答，确保标注质量。

使用方法

使用TyDi QA数据集时，研究者可根据需求选择主任务或次任务。主任务包含训练集166,916条和验证集18,670条，适用于需要处理候选段落和复杂标注的模型训练；次任务则提供49,881条训练数据和5,077条验证数据，格式更简洁，适合快速原型开发。数据集可通过HuggingFace的datasets库直接加载，例如使用load_dataset('khalidalt/tydiqa-goldp', 'primary_task')获取主任务数据。模型训练时需注意各语言样本的均衡性，以充分发挥多语言泛化能力。

背景与挑战

背景概述

TyDi QA数据集由谷歌研究团队于2020年创建，主要研究人员包括Jonathan H. Clark、Eunsol Choi等，旨在解决多语言信息检索式问答中的核心问题：现有问答数据集多集中于英语，忽视了全球语言的多样性。该数据集覆盖11种类型学差异显著的语言，包括阿拉伯语、孟加拉语、芬兰语等，包含204K问答对，其独特之处在于问题由母语者以信息寻求动机撰写，避免翻译偏差，从而真实反映跨语言问答的复杂性。TyDi QA的出现填补了多语言问答基准的空白，推动了对语言类型学特征的理解，成为评估模型泛化能力的重要标杆，对自然语言处理领域产生了深远影响。

当前挑战

TyDi QA所解决的领域挑战是多语言问答中模型对类型学差异语言的适应性，例如处理不同语序、形态丰富性及零资源现象，确保模型在未见语言上也能有效泛化。构建过程中面临的挑战包括：1）数据收集需在11种语言中直接由母语者提问，避免使用翻译，这增加了标注成本和质量控制难度；2）注释需确保答案在原文中的精确位置，同时处理如是非问答等复杂情况，导致标注流程繁琐；3）语言多样性带来数据不平衡问题，如泰卢固语样本较少，影响模型训练的鲁棒性。这些挑战共同塑造了TyDi QA作为高难度多语言基准的特性。

常用场景

经典使用场景

TyDi QA 数据集被广泛用于评估和训练多语言抽取式问答系统，其核心设计在于覆盖11种类型学上迥异的语言，包括英语、阿拉伯语、孟加拉语、芬兰语、日语等。研究者利用该数据集检验模型在低资源语言上的泛化能力，尤其是那些在语言学特征上与英语截然不同的语种。经典使用场景聚焦于零样本跨语言迁移学习，即模型在富资源语言（如英语）上训练后，直接迁移至未见过的目标语言进行问答推理。这种设置不仅挑战了模型对句法结构和语义角色的理解，也揭示了当前预训练语言模型在跨语言知识对齐上的局限性。

解决学术问题

该数据集的核心价值在于破解多语言问答研究中长期存在的“翻译偏差”与“语言偏差”问题。传统数据集如SQuAD依赖英文语料，而MLQA和XQuAD通过翻译构建，引入了非自然的语言现象。TyDi QA通过直接在各语言中收集真实信息寻求型问题，确保数据反映母语者的自然表达方式，从而为跨语言问答提供更可靠的基准。它解决了两个关键学术问题：一是验证模型能否在缺乏平行语料的情况下理解不同语言的语义对应关系；二是量化类型学距离对迁移学习效果的影响，为构建真正通用的多语言问答系统奠定方法论基础。

实际应用

在实际产业环境中，TyDi QA 推动了多语言客服系统与全球信息检索平台的发展。例如，跨国企业可利用基于该数据集训练的模型，为阿拉伯语、泰米尔语等用户提供原生的问答服务，无需依赖昂贵的翻译管道。在新闻聚合与维基百科知识库中，该数据集帮助系统自动从多语言文档中抽取精确答案，提升非英语用户的信息获取效率。此外，教育科技领域借助其构建跨语言学习助手，使学习者能够用母语查询外语知识，显著降低了语言障碍带来的认知负荷。

数据集最近研究

最新研究方向

在多语言信息检索与问答系统领域，TyDi QA 数据集正成为推动跨语言理解能力跃升的关键基准。当前前沿研究聚焦于如何利用该数据集涵盖的11种类型学迥异语言，训练模型摆脱对单一语言（如英语）的依赖，实现真正的零样本跨语言泛化。结合大语言模型（LLMs）的兴起，研究者正探索将TyDi QA与提示学习、多语言指令微调相结合，以解决低资源语言中标注数据匮乏的痛点。此外，该数据集在评估模型对真实信息寻求任务（而非翻译语料）的适应能力上具有独特价值，其设计避免了SQuAD等数据集的提示效应，为构建更鲁棒、更公平的多语言AI系统提供了重要测试场。这一方向不仅关乎技术突破，更对促进全球信息平等获取、弥合数字语言鸿沟具有深远的社会意义。