coref-data/corefud_indiscrim

该数据集包含多个配置，每个配置对应不同的语言和来源。每个配置包括句子、词元、共指链和元数据等特征。数据集分为训练集和验证集，并提供了每个分区的字节数和示例数的详细信息。该数据集设计用于共指消解和语言分析任务。

原始信息汇总

数据集概述

数据集配置

ca_ancora-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: float64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 38341803
    • num_examples: 1011
  • validation:
    • num_bytes: 5660530
    • num_examples: 131
• 下载大小: 7906331
• 数据集大小: 44002333

cs_pcedt-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: float64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 149583151
    • num_examples: 1875
  • validation:
    • num_bytes: 26160516
    • num_examples: 337
• 下载大小: 31260936
• 数据集大小: 175743667

cs_pdt-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: float64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 109542424
    • num_examples: 2533
  • validation:
    • num_bytes: 14886840
    • num_examples: 316
• 下载大小: 23982751
• 数据集大小: 124429264

de_parcorfull-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: int64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 1035732
    • num_examples: 15
  • validation:
    • num_bytes: 132412
    • num_examples: 2
• 下载大小: 273217
• 数据集大小: 1168144

de_potsdamcc-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: int64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 3999054
    • num_examples: 142
  • validation:
    • num_bytes: 511557
    • num_examples: 17
• 下载大小: 859121
• 数据集大小: 4510611

en_gum-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: string
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: float64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 17919310
    • num_examples: 151
  • validation:
    • num_bytes: 2369056
    • num_examples: 22
• 下载大小: 4234788
• 数据集大小: 20288366

en_parcorfull-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: int64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 899917
    • num_examples: 15
  • validation:
    • num_bytes: 115587
    • num_examples: 2
• 下载大小: 259976
• 数据集大小: 1015504

es_ancora-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: float64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 43242148
    • num_examples: 1080
  • validation:
    • num_bytes: 5404400
    • num_examples: 131
• 下载大小: 8758107
• 数据集大小: 48646548

fr_democrat-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: int64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: null
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 23704875
    • num_examples: 50
  • validation:
    • num_bytes: 2914195
    • num_examples: 46
• 下载大小: 5011046
• 数据集大小: 26619070

hu_korkor-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: float64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 2358029
    • num_examples: 76
  • validation:
    • num_bytes: 305829
    • num_examples: 9
• 下载大小: 644899
• 数据集大小: 2663858

hu_szegedkoref-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: float64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 11618556
    • num_examples: 320
  • validation:
    • num_bytes: 1365657
    • num_examples: 40
• 下载大小: 2509790
• 数据集大小: 12984213

lt_lcc-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: int64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 3908009
    • num_examples: 80
  • validation:
    • num_bytes: 435994
    • num_examples: 10
• 下载大小: 802890
• 数据集大小: 4344003

no_bokmaalnarc-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: int64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: null
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 21847333
    • num_examples: 284
  • validation:
    • num_bytes: 2319889
    • num_examples: 31
• 下载大小: 4979662
• 数据集大小: 24167222

no_nynorsknarc-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: int64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: null
  • id: string
  • text: string
  • coref_chains: sequence of sequence of sequence of int64
  • genre: null
  • meta_data:
    • comment: string
• 分割:
  • train:
    • num_bytes: 18472313
    • num_examples: 336
  • validation:
    • num_bytes: 1904614
    • num_examples: 28
• 下载大小: 4209149
• 数据集大小: 20376927

pl_pcc-corefud

• 特征:
  • sentences:
    • id: int64
    • speaker: null
    • text: string
    • tokens:
      • deprel: string
      • feats: string
      • head: int64
      • id: float64
      • lemma: string
      • misc: string
      • text: string
      • upos: string
      • xpos: string
  • id: string
  • text: string
  • `core

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，指代消解是一项核心任务，旨在识别文本中指向同一实体的不同表述。coref-data/corefud_indiscrim数据集正是在此背景下构建的，它整合了来自多个语种的指代消解语料库，并统一转换为CorefUD格式。该数据集涵盖了加泰罗尼亚语、捷克语、德语、英语、西班牙语、法语、匈牙利语、立陶宛语、挪威语、波兰语、俄语和土耳其语等12种语言，每个子数据集均包含句子、词元及其依存分析信息，并标注了指代链（coref_chains）结构。数据按语言和来源划分为独立的配置（config），每个配置均提供训练集和验证集，确保多语言场景下的兼容性与可复现性。

使用方法

使用该数据集时，可通过HuggingFace Datasets库按配置名称加载，例如`load_dataset('coref-data/corefud_indiscrim', 'en_gum-corefud')`获取英语子集。每个样本包含`sentences`字段（列表形式存储多句及分词信息）、`coref_chains`（嵌套列表表示指代链）和`meta_data`（注释信息）。研究人员可直接利用其标准化的特征结构进行指代消解模型的训练与评估，或将其作为多语言迁移学习的基准。验证集规模较小但覆盖各语言，适合快速测试；训练集则支持大规模参数调优。

背景与挑战

背景概述

在自然语言处理领域，指代消解（Coreference Resolution）是一项基础而艰巨的任务，旨在识别文本中指向同一现实世界实体的不同表述。CorefUD（Coreference Universal Dependencies）项目应运而生，致力于将多语种的指代消解标注与通用依存句法（UD）框架相融合，为跨语言研究提供统一的数据基础。coref-data/corefud_indiscrim数据集正是这一宏大工程的结晶，由多位计算语言学家在近年协作构建，核心研究问题在于如何系统性地收集并标准化不同语言中的指代链信息，以支撑从形态句法到篇章语义的深层分析。该数据集覆盖加泰罗尼亚语、捷克语、德语、英语、西班牙语、法语、匈牙利语、立陶宛语、挪威语、波兰语、俄语和土耳其语等十余种语言，每个子集均包含经过精细校对的指代链标注，并严格遵循UD的依存语法体系。其影响力已辐射至多语种信息抽取、机器翻译和对话系统等应用领域，成为评估指代消解模型泛化能力的关键基准。

当前挑战

当前该数据集面临的核心挑战可归纳为以下几点：其一，跨语言指代消解的本质难题在于不同语言在代词系统、零指代（Zero Anaphora）和篇章结构上的显著差异，例如匈牙利语和土耳其语等黏着语中，代词常以词缀形式隐含，这对标注一致性和模型学习构成严峻考验。其二，数据集的构建过程遭遇了资源不均的困境，部分语种（如德语de_parcorfull-corefud仅15条训练样本）规模极小，导致统计显著性与模型鲁棒性难以保障，而大规模语种（如捷克语cs_pcedt-corefud含1875条训练样本）则相对充足，这种不平衡加剧了跨语言迁移学习的难度。其三，指代链的标注本身充满歧义，尤其是在处理嵌套指代、桥接指代（Bridging Reference）以及非人称表述时，标注者间的一致性维护成为一项持续性挑战，直接影响到数据集作为黄金标准（Gold Standard）的可靠性。

常用场景

经典使用场景

在自然语言处理领域，指代消解是一项核心任务，旨在识别文本中指向同一实体的不同表述。corefud_indiscrim数据集以多语言、多领域的语料为基础，涵盖加泰罗尼亚语、捷克语、德语、英语、西班牙语、法语、匈牙利语、立陶宛语、挪威语、波兰语、俄语和土耳其语等十余种语言，为跨语言指代消解模型的训练与评测提供了标准化的基准。其经典使用场景聚焦于监督学习框架下的端到端指代消解，研究者可借助该数据集中的coref_chains标注信息，构建能够捕捉长距离依赖关系的神经网络模型，从而精准地将代词、名词短语等提及项链接至对应的指代链，推动多语言环境下语义理解能力的提升。

解决学术问题

该数据集有效应对了低资源语言指代消解研究中的数据匮乏困境。长期以来，指代消解研究高度集中于英语等少数语言，而捷克语、匈牙利语、立陶宛语等语种的标注资源极为稀缺，导致相关模型泛化能力受限。corefud_indiscud通过统一格式整合多个已有语料库，并兼容Universal Dependencies的句法标注体系，使得研究者能够在同质化框架下开展跨语言对比实验。其最大意义在于打破了语言壁垒，为探索指代消解任务中语言特异性与普遍性规律提供了数据支撑，进而催生了多语言预训练模型在指代消解领域的迁移学习研究，显著提升了模型在未见语言上的零样本与少样本表现。

实际应用

在实际应用层面，该数据集赋能了诸多需要深度语义理解的人机交互系统。例如，在智能问答与对话系统中，准确识别用户前后表述中的指代关系是避免歧义、实现连贯对话的关键。借助corefud_indiscrim训练出的模型，能够将用户提到的“他”、“那本书”等模糊指代映射到具体实体，从而提升客服机器人、语音助手的应答准确性。此外，在信息抽取与文本摘要任务中，指代消解有助于消除冗余信息，使摘要更聚焦于核心实体。该数据集的跨语言特性还使其特别适用于多语言文档处理平台，例如跨国企业的合同审查或新闻聚合系统，能够流畅处理混合语种的文本内容。

数据集最近研究

最新研究方向

在自然语言处理领域，指代消解（Coreference Resolution）作为篇章理解的核心任务，正随着多语言预训练模型的兴起迎来新的研究热潮。corefud_indiscrim数据集以其跨越加泰罗尼亚语、捷克语、德语、英语、西班牙语、法语、匈牙利语、立陶宛语、挪威语、波兰语、俄语、土耳其语等十余种语言的丰富配置，为构建跨语言指代消解系统提供了前所未有的基准资源。当前前沿方向集中于利用该数据集训练统一的多语言指代消解模型，探索如何在低资源语言上通过迁移学习或零样本设置提升性能，并与通用依存句法分析（UD）框架深度融合。这一研究不仅推动了多语言篇章理解技术的边界，也为机器翻译、信息抽取等下游应用提供了更精准的语义纽带，其影响力正随着多模态与大模型时代的到来而日益凸显。