HiTZ/Multilingual-BioASQ-6B

Multilingual BioASQ-6B数据集是一个多语言问答和摘要数据集，包含英语、西班牙语、法语和意大利语四个版本。每个版本的数据集包括训练集和测试集，特征包括id、type、body、ideal_answer、exact_answer、snippets、documents、triples和concepts。数据集主要用于生物学和医学领域的问答和摘要任务。数据集是通过将BioASQ-6B英语问答数据集翻译成其他语言生成的，使用了NLLB200 3B参数模型进行翻译。ideal_answer字段的翻译质量已经过验证，但exact_answer字段可能包含翻译错误，因为NLLB200在处理单句翻译时质量较低。

原始信息汇总

数据集概述

数据集名称

• Multilingual BioASQ-6B

数据集语言

• 英语 (en)
• 西班牙语 (es)
• 法语 (fr)
• 意大利语 (it)

数据集特征

• id (字符串类型)
• type (字符串类型)
• body (字符串类型)
• ideal_answer (字符串序列)
• exact_answer (字符串序列)
• snippets (字符串序列)
• documents (字符串序列)
• triples (列表类型，包含三个字符串类型的元素：p, s, o)
• concepts (字符串序列)

数据集分割

• 训练集 (train)
  • 英语：2251个示例，10827410字节
  • 西班牙语：2251个示例，11694723字节
  • 法语：2251个示例，11760491字节
  • 意大利语：2251个示例，11241823字节
• 测试集 (test)
  • 英语：500个示例，1709411字节
  • 西班牙语：500个示例，1808733字节
  • 法语：500个示例，1799313字节
  • 意大利语：500个示例，1737683字节

数据集大小

• 英语：下载大小5185124字节，数据集大小12536821字节
• 西班牙语：下载大小5417329字节，数据集大小13503456字节
• 法语：下载大小5402467字节，数据集大小13559804字节
• 意大利语：下载大小5320580字节，数据集大小12979506字节

数据集配置

• 英语：训练集路径为en/train-*，测试集路径为en/test-*
• 西班牙语：训练集路径为es/train-*，测试集路径为es/test-*
• 法语：训练集路径为fr/train-*，测试集路径为fr/test-*
• 意大利语：训练集路径为it/train-*，测试集路径为it/test-*

数据集许可证

• Apache-2.0

数据集任务类别

• 问答
• 摘要

数据集标签

• 生物学
• 医学

搜集汇总

数据集介绍

构建方式

在生物医学问答领域，高质量的多语言数据集对于推动跨语言信息检索与知识推理至关重要。HiTZ/Multilingual-BioASQ-6B数据集基于英文BioASQ-6B问答语料库，采用NLLB200 3B参数模型对原始数据中的body、snippets、ideal_answer及exact_answer字段进行机器翻译，生成了法语、意大利语和西班牙语的平行版本。每个语言子集均包含2251条训练样本与500条测试样本，字段结构涵盖问题类型、文本内容、理想答案、精确答案、片段、文档、三元组及概念，确保了数据在跨语言场景下的完整性与可比性。

特点

该数据集的核心特点在于其多语言对齐性与生物医学领域的专业性。通过统一翻译策略，四个语言版本（英、法、意、西）保持了相同的问答对结构与样本数量，便于进行跨语言模型训练与评估。ideal_answer字段经人工验证具备较高翻译质量，而exact_answer字段因涉及单词语句翻译，可能引入少量伪影，体现了机器翻译的局限性。数据集采用Apache-2.0许可协议发布，支持问答与摘要任务，为多语言生物医学自然语言处理研究提供了标准化基准。

使用方法

使用该数据集时，可通过Hugging Face的datasets库按语言配置名称（如'en'、'es'）加载对应子集，训练集与测试集已预定义。数据加载后可直接利用id、type、body等字段构建问答或摘要模型，其中ideal_answer和exact_answer可作为监督信号，snippets与documents用于上下文增强。研究者需注意exact_answer字段的潜在翻译误差，建议在关键评估中优先参考ideal_answer。此外，三元组与概念字段支持知识图谱驱动的推理任务，拓展了数据集的应用边界。

背景与挑战

背景概述

在生物医学自然语言处理领域，高质量的多语言问答数据集长期匮乏，严重制约了跨语言医学信息检索与知识推理的发展。HiTZ/Multilingual-BioASQ-6B数据集应运而生，由HiTZ研究中心与法国蔚蓝海岸大学等机构的研究人员于2024年联合创建，旨在填补这一空白。该数据集以BioASQ-6B英文问答挑战为基础，利用NLLB200-3B参数模型将原始语料翻译为法语、意大利语和西班牙语，从而构建出包含超过2251个训练样本和500个测试样本的六语言平行语料库。其核心研究问题聚焦于推动多语言生物医学文本生成模型的训练与评估，尤其为Medical mT5等开源大语言模型提供了关键训练资源。该数据集的发布显著提升了非英语国家在生物医学问答任务上的研究能力，成为跨语言医学NLP社区的重要基础设施。

当前挑战

Multilingual-BioASQ-6B面临的挑战主要体现在两个层面。在领域问题层面，生物医学问答要求模型精准理解专业术语、复杂病理描述及隐含的因果关系，而跨语言场景下术语不对等、句法结构差异进一步加剧了推理难度，例如西班牙语中动词变位与英语时态系统的映射常导致答案歧义。在构建过程中，翻译模型NLLB200对单词语句（如exact_answer字段中的简短术语）产生低质量译文，造成部分答案失真；此外，snippets与body字段的机器翻译可能引入语义漂移，例如法语中医学缩略语（如“AVC”对应“中风”）的误译会削弱训练数据的可靠性。这些翻译伪影需要人工校验或后处理策略来缓解，但高昂的专家成本限制了大规模修正的可行性。

常用场景

经典使用场景

在生物医学自然语言处理领域，Multilingual-BioASQ-6B数据集最为经典的应用场景是作为跨语言问答系统的基准测试平台。该数据集基于BioASQ-6B英文问答语料，通过NLLB200模型翻译生成法语、意大利语和西班牙语版本，使得研究者能够在多语言环境下评估和提升问答系统的性能。其结构化特征包括问题正文、理想答案、精确答案、摘要片段及相关文档，为训练和评估生成式与抽取式问答模型提供了丰富且标准化的数据资源。

实际应用

在实际应用中，该数据集支撑着多语种临床决策支持系统的开发。例如，西班牙语或法语地区的医疗机构可利用基于此数据集训练的问答模型，快速从海量医学文献中检索与患者症状相关的诊断建议或治疗方案。此外，数据集还服务于医学教育场景，帮助非英语母语的学生通过母语查询生物医学知识，从而降低语言障碍对学习效率的影响。其多语言特性尤其适合跨国医疗合作平台中的实时信息交互。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，其中最经典的是Medical mT5模型，这是一个面向医学领域的开源多语言文本到文本大语言模型。研究者基于Multilingual-BioASQ-6B等资源，将T5架构扩展到英语、西班牙语、法语和意大利语，在医学问答、摘要生成等任务上取得了显著性能提升。此外，该数据集还被用于评估多语言预训练模型的迁移学习能力，催生了关于跨语言医疗信息检索的对比研究，并成为多语言生物医学自然语言处理领域的重要基线资源。