tushar117/xalign

XAlign数据集是一个高质量的多语言事实到文本对齐数据集，其中事实以英语表示，对应的句子则以多种低资源语言表示，主要用于人物传记。训练和验证集通过远程监督方法创建，测试数据则通过人工注释生成。该数据集支持跨语言的数据到文本生成任务，并可用于关系提取任务。数据集包含12种语言，包括阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、旁遮普语、泰米尔语、泰卢固语和英语。每个数据实例包含一个句子、相关的事实列表以及语言标识符。数据集分为训练集、验证集和测试集，分别包含499155、55469和7425个实例。

The XAlign dataset is a high-quality multilingual fact-to-text alignment dataset, where facts are expressed in English and corresponding sentences are provided in a range of low-resource languages, with a primary focus on personal biographies. The training and validation sets are constructed using distant supervision, while the test data is generated via manual annotation. This dataset supports cross-lingual data-to-text generation tasks and can also be applied to relation extraction tasks. It covers 12 languages in total, namely Assamese, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Odia, Punjabi, Tamil, Telugu, and English. Each data instance consists of a sentence, a list of associated facts, and a language identifier. The dataset is divided into training, validation, and test splits, which contain 499,155, 55,469, and 7,425 instances respectively.

原始信息汇总

数据集概述

数据集名称

• 名称: XAlign
• 别名: 无
• ID: xalign

数据集基本信息

• 描述: XAlign是一个高质量的跨语言事实到文本数据集，其中事实以英语表示，对应的句子则是以本地语言表示的人物传记。
• 语言: 包括Assamese (as), Bengali (bn), Gujarati (gu), Hindi (hi), Kannada (kn), Malayalam (ml), Marathi (mr), Oriya (or), Punjabi (pa), Tamil (ta), Telugu (te), 和 English (en)。
• 许可证: cc-by-nc-sa-4.0, MIT
• 多语言性: 多语言
• 大小: 100K<n<1M
• 来源: 原始数据
• 标签: xalign, NLG, low-resource, LRL
• 任务类别: table-to-text
• 任务ID: rdf-to-text

数据集结构

• 数据实例: 每个实例包含sentence（本地语言维基百科句子）、facts（与句子关联的事实列表，每个事实以字典形式存储）、language（语言标识符）。
• 数据字段: 每个事实字典包含subject（中心实体）、predicate（连接主体和客体的关系）、object（关于主体的实体或信息）、qualifiers（提供关于事实额外信息的字典列表）。
• 数据分割: 数据集分为训练集（499155个实例）、验证集（55469个实例）和测试集（7425个实例）。

数据集创建

• 创建理由: 大多数现有的数据到文本数据集仅提供英语版本，且针对低资源语言的结构化Wikidata条目数量较少。XAlign数据集旨在创建跨语言数据到文本生成系统，该系统接受一组英语事实作为输入，并生成指定语言的句子，捕捉事实语义。
• 源数据: 数据集的创建始于从Wikidata中选出的约95K个人实体，每个实体至少有一个对应的维基百科页面链接。事实（英语）从Wikidata提取，句子从维基百科XML转储中提取。
• 注释过程: 测试集的手动注释分为两个阶段，由专家和经过筛选的翻译者完成。

使用数据注意事项

• 社会影响: 该数据集旨在帮助开发跨语言数据到文本生成系统，这些系统对于自动对话系统、特定领域聊天机器人、开放领域问答等NLP应用至关重要。
• 已知限制: XAlign数据集仅关注人物传记，基于此数据集开发的系统可能不适用于其他领域。

附加信息

• 数据集管理员: 由Tushar Abhishek, Shivprasad Sagare, Bhavyajeet Singh, Anubhav Sharma, Manish Gupta 和 Vasudeva Varma 收集。
• 许可证信息: 数据集根据MIT许可证发布。
• 引用信息: 请参考提供的引用格式。
• 贡献者: 感谢所有参与数据集创建的贡献者，包括来自国家翻译任务的注释者。

搜集汇总

数据集介绍

构建方式

XAlign数据集的构建始于从Wikidata中精选约9.5万个人物实体，这些实体均关联至11种低资源语言之一的维基百科页面。研究团队利用Wikidata API抽取实体的英文事实，涵盖WikibaseItem、Time、Quantity及Monolingualtext等关键属性类型，同时从对应语言的维基百科XML转储中提取句子。针对每一对实体与语言，通过两阶段自动对齐算法将英文事实与本地语言句子进行匹配，从而生成训练集和验证集。测试集则经由人工标注完成，标注者需根据给定的低资源语言句子，从英文事实列表中标记出正确匹配的事实。

特点

该数据集的核心特色在于其跨语言事实到文本的对齐与生成能力，专注于人物传记领域，覆盖阿萨姆语、孟加拉语、古吉拉特语、印地语等11种低资源语言及英语。数据规模庞大，训练集包含近50万个实例，验证集超过5.5万，测试集7千余条。每条记录由本地语言句子、一组结构化英文事实（含主语、谓语、宾语及可选限定词）和语言标识组成。这一设计有效缓解了低资源语言在数据到文本任务中的数据稀疏问题，为构建跨语言生成系统提供了高质量基础。

使用方法

XAlign数据集主要支持跨语言数据到文本生成任务，研究人员可基于英文事实输入，训练模型生成指定语言的流畅句子。模型性能可通过BLEU、METEOR等文本生成指标在全部语言上取均值进行评估。此外，该数据集还可用于跨语言关系抽取，即从本地语言句子中提取对应的英文关系。用户可通过HuggingFace Datasets库加载数据，利用其预定义的三元组（句子、事实列表、语言）结构，方便地应用于序列到序列模型或基于Transformer的生成框架。

背景与挑战

背景概述

XAlign数据集由印度海得拉巴信息检索与提取实验室（IREL）的Tushar Abhishek、Shivprasad Sagare等研究人员于2022年创建，旨在解决低资源语言在事实到文本生成领域的严重数据匮乏问题。该数据集聚焦于跨语言的人物传记生成任务，将英文维基数据事实与包括阿萨姆语、孟加拉语、印地语在内的11种印度低资源语言及英语的对应句子进行对齐，构建了高质量的多语言事实到文本语料库。通过远程监督方法生成训练与验证集，并经由国家翻译计划筛选的专业标注员人工构建测试集，XAlign为跨语言自然语言生成提供了关键基准资源，其论文发表于arXiv，相关模型在Papers with Code排行榜上推动了该领域的发展。

当前挑战

XAlign数据集面临的核心挑战在于跨语言事实到文本生成中低资源语言的表征学习与泛化能力不足。领域层面，现有数据到文本系统多集中于英语，而低资源语言因维基结构化条目稀少导致数据稀疏，模型难以捕捉事实语义与目标语言句法间的复杂映射关系。构建过程中，自动对齐器需处理约95K实体、0.55M实例的跨语言事实与句子匹配，面临噪声与歧义问题；测试集的人工标注分两阶段进行，需确保标注者一致性，通过Kappa分数筛选高水平标注员以控制质量，但跨语言标注的难度与成本依然显著。此外，数据集仅覆盖人物传记领域，限制了其向其他领域的迁移能力。

常用场景

经典使用场景

XAlign数据集的核心价值在于为跨语言事实到文本生成任务提供了高质量的训练与评测基准。该数据集以英语知识图谱事实为输入，目标语言涵盖阿萨姆语、孟加拉语、印地语等11种低资源语言，开创性地构建了事实与多语言文本之间的对齐关系。研究者可利用该数据集训练能够将结构化英语事实自动转化为指定低资源语言流畅句段的生成模型，从而突破传统数据到文本生成任务对单语资源的依赖。该数据集的经典使用场景聚焦于人物传记领域的跨语言文本生成，通过其精心设计的远监督对齐与人工标注验证机制，为低资源语言的自然语言生成研究提供了可靠的数据支撑。

衍生相关工作

XAlign数据集的发布催生了一系列富有影响力的后续研究工作。Sagare等人（2022）基于该数据集进行了跨语言数据到文本生成的系统性实验，报告了在测试集上平均BLEU值29.27与平均METEOR值53.64的基准性能，为后续模型优化提供了参照。此外，该数据集还被用于跨语言关系抽取任务，探索如何从目标语言句子中精准提取英语关系三元组。在Papers with Code平台上，XAlign已设立专门的排行榜，吸引了众多研究团队提交其在数据到文本生成任务上的模型表现。这些衍生工作不仅验证了数据集的有效性，更促进了跨语言自然语言生成领域方法论的持续演进。

数据集最近研究

最新研究方向

跨语言事实到文本生成（Cross-lingual Data-to-Text Generation）正成为自然语言处理领域的前沿热点，尤其针对低资源语言（Low-Resource Languages）的语义对齐与生成任务。XAlign数据集以人物传记为核心，通过远距离监督与人工标注相结合的方式，构建了涵盖12种印度语言的跨语言事实-文本平行语料库，其中事实以英文呈现，而对应描述文本则使用本地语言。该数据集不仅支持数据到文本生成任务，还拓展至跨语言关系抽取，显著推动了低资源场景下多语言自然语言生成系统的研究。当前，研究者基于XAlign在BLEU和METEOR指标上取得了突破性进展，例如平均BLEU达29.27，平均METEOR达53.64，这为构建面向印度本土语言的对话系统、知识库问答及自动摘要等应用提供了关键基础资源，也促进了多语言NLP技术的公平性与包容性发展。