VietAI/vi_pubmed

该数据集包含2000万条越南语PubMed生物医学摘要，这些摘要是通过最先进的英越翻译项目从英语翻译而来的。数据集被用作无标签数据集，用于预训练越南生物医学领域的Transformer模型。原始数据来自PubMed，翻译后的越南语摘要由英越翻译项目生成。数据集的结构包括英语和越南语序列，数据集的下载大小为23041004247字节，数据集大小为44360028980字节。This dataset contains 20 million Vietnamese-language PubMed biomedical abstracts, which were translated from English via a state-of-the-art English-Vietnamese translation project. It is employed as an unlabeled dataset for pre-training Transformer models in the Vietnamese biomedical domain. The original data is sourced from PubMed, and the translated Vietnamese abstracts are produced by the aforementioned English-Vietnamese translation project. The dataset structure includes both English and Vietnamese sequences. The download size of the dataset is 23041004247 bytes, and the total dataset size is 44360028980 bytes.

原始信息汇总

数据集概述

数据集信息

• 许可证: cc
• 语言:
  • 英语 (en)
  • 越南语 (vi)
• 任务类别:
  • 文本生成
  • 填充掩码
• 任务ID:
  • 语言建模
  • 掩码语言建模
• paperswithcode ID: pubmed

数据集特征

• 特征名称与数据类型:
  • en: 字符串
  • vi: 字符串

数据集分割

• 分割名称: pubmed22
• 数据大小: 44360028980 字节
• 示例数量: 20087006
• 下载大小: 23041004247 字节
• 数据集大小: 44360028980 字节

数据集描述

• 内容: 20M越南语PubMed生物医学摘要，由state-of-the-art English-Vietnamese Translation project翻译。该数据已被用作pretraining a Vietnamese Biomedical-domain Transformer model的无标签数据集。

语言信息

• 英语: 原始生物医学摘要来自Pubmed
• 越南语: 由state-of-the-art English-Vietnamese Translation project翻译的合成摘要

数据集结构

• 英语序列: 未提供具体信息
• 越南语序列: 未提供具体信息

搜集汇总

数据集介绍

构建方式

在生物医学自然语言处理领域，低资源语言的语料匮乏始终是制约模型性能提升的关键瓶颈。为突破这一困境，研究者借助先进神经机器翻译技术，系统性地构建了VietAI/vi_pubmed数据集。该数据集以美国国家医学图书馆提供的PubMed生物医学文献摘要为原始英文语料，经由当前最先进的英越翻译系统进行大规模自动翻译，最终产出约2000万条越南语-英语平行语料。翻译模型基于多领域翻译项目MTet开发，其翻译质量经过严格验证，确保了跨语言生物医学知识的准确迁移。

使用方法

数据集以HuggingFace Datasets库标准格式发布，用户可通过加载'VietAI/vi_pubmed'直接获取。每条样本包含'en'与'vi'两个字段，分别对应英文原文与越南语译文。在文本生成任务中，可选用单一语言字段进行自回归语言模型训练；在掩码填充任务中，则适用于遮蔽语言模型的预训练。研究者亦可将其作为平行语料，用于训练英越生物医学翻译系统或评估翻译模型性能。数据使用需遵守美国国家医学图书馆的条款与条件，引用时应注明相关学术成果。

背景与挑战

背景概述

在自然语言处理领域，低资源语言（如越南语）的生物学与医学知识挖掘长期受限于高质量标注语料的匮乏。2022年，由越南研究团队（包括Phan、Dang、Tran等人）联合发布的VietAI/vi_pubmed数据集，旨在通过大规模机器翻译技术填补这一空白。该数据集基于美国国家医学图书馆提供的2008万余条PubMed英文生物医学摘要，利用当时最先进的英越翻译模型（MTet）将其转换为越南语，形成双语平行语料。核心研究问题聚焦于如何借助跨语言迁移学习，为越南语生物医学领域构建首个大规模无监督预训练语料库，从而推动低资源语言在疾病诊断、药物发现等关键任务上的模型性能。这一工作不仅为越南语NLP社区提供了稀缺的领域资源，更验证了翻译增强方法在低资源场景下的有效性，对东南亚地区的生物医学信息处理具有里程碑意义。

当前挑战

该数据集面临的核心挑战涵盖领域问题与构建过程双重维度。在领域问题层面，越南语生物医学文本的术语体系尚不完善，大量专业概念（如基因名称、药物成分）缺乏标准译名，导致翻译后的语料可能存在概念模糊或错误映射，直接影响下游模型（如语义相似度计算、实体识别）的准确性。此外，PubMed摘要本身包含复杂的科学句式与隐式推理逻辑，机器翻译模型难以完全捕捉原文的精确含义。在构建过程中，团队需处理超过2000万条双语样本的清洗与对齐，面临数据规模庞大带来的计算资源瓶颈，以及英文原文中噪声（如格式错误、非文本元素）对翻译质量的干扰。同时，如何评估合成越南语文本的领域保真度与语言自然度，也缺乏成熟的自动化验证标准，需依赖人工抽样与专家校验，进一步增加了数据生产的成本与不确定性。

常用场景

经典使用场景

VietAI/vi_pubmed数据集汇聚了约两千万条越南语与英语平行对齐的生物医学文献摘要，源自美国国家医学图书馆的PubMed数据库。该数据集最经典的使用场景在于为低资源语言——越南语——构建生物医学领域的预训练语言模型。研究者可借助其大规模、高质量的双语语料，训练如BERT或GPT架构的深度神经网络，从而捕捉生物医学文本中复杂的术语关系与语义模式，推动越南语自然语言处理在专业垂直领域的发展。

解决学术问题

该数据集有效缓解了越南语在生物医学领域语料匮乏的困境，解决了低资源语言因数据稀缺而难以训练高精度模型的学术难题。通过提供经过专业翻译引擎处理的大规模平行语料，vi_pubmed支持无监督或半监督的掩码语言建模与文本生成任务，为研究跨语言知识迁移、领域自适应预训练以及低资源场景下的模型泛化能力提供了坚实的数据基础，显著提升了越南语生物医学信息抽取与文本理解的性能。

实际应用

在实际应用中，vi_pubmed数据集赋能了越南语临床决策支持系统、智能文献检索工具以及自动医学知识问答平台的构建。医疗机构可利用基于该数据集训练的模型，从海量越南语生物医学文本中快速提取关键诊疗信息，辅助医生进行诊断与治疗规划。此外，该语料还支撑了药物不良反应监测、疾病关联挖掘等公共卫生领域的数据分析任务，提升了越南语环境下医疗信息处理的效率与准确性。

数据集最近研究

最新研究方向

在低资源语言自然语言处理领域，特别是生物医学文本挖掘的前沿研究中，VietAI/vi_pubmed数据集的出现标志着越南语在专业领域知识获取上的重要突破。该数据集通过大规模机器翻译技术，将2000万篇PubMed英文生物医学摘要转化为高质量的越南语平行语料，为越南语生物医学预训练语言模型提供了关键的无监督训练资源。这一工作紧密关联当前低资源语言智能医疗的热点趋势，即利用跨语言迁移学习弥补专业语料匮乏的短板。其深远意义在于，不仅推动了越南语在临床知识图谱构建、药物相互作用提取等任务上的研究进展，也为其他低资源语言在生物医学领域实现类似突破树立了典范，展示了大规模翻译结合预训练范式在弥合语言鸿沟与知识壁垒方面的巨大潜力。