SEACrowd/vi_pubmed

Vi Pubmed数据集包含20M越南语PubMed生物医学摘要，这些摘要是通过最先进的英越翻译项目翻译的。该数据集已被用作预训练越南生物医学领域Transformer模型的未标记数据集。

原始信息汇总

Vi Pubmed 数据集概述

基本信息

• 名称: Vi Pubmed
• 语言:
  • 英语 (eng)
  • 越南语 (vie)
• 任务类别: 机器翻译
• 标签: 机器翻译

数据集描述

• 内容: 包含2000万条越南语PubMed生物医学摘要，由最先进的英越翻译项目翻译。
• 用途: 用作预训练越南语生物医学领域Transformer模型的无标签数据集。

支持的任务

• 机器翻译

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• 其他许可证 (others)

引用

• MTet: Multi-domain Translation for English and Vietnamese

  @misc{mtet, doi = {10.48550/ARXIV.2210.05610}, url = {https://arxiv.org/abs/2210.05610}, author = {Ngo, Chinh and Trinh, Trieu H. and Phan, Long and Tran, Hieu and Dang, Tai and Nguyen, Hieu and Nguyen, Minh and Luong, Minh-Thang}, keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences}, title = {MTet: Multi-domain Translation for English and Vietnamese}, publisher = {arXiv}, year = {2022}, copyright = {Creative Commons Attribution 4.0 International} }

• SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages

  @article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

Vi Pubmed数据集源于越南语与英语机器翻译领域的前沿探索，其构建依托于当前最先进的英越翻译系统，对PubMed数据库中约2000万篇越南语生物医学摘要进行了系统性翻译。这些摘要原本以英文形式存在于生物医学文献库中，经由高精度神经机器翻译模型处理，生成了大规模、高质量的越南语平行语料。该数据集在构建过程中未经过人工标注，旨在为越南语生物医学领域的预训练语言模型提供丰富的无监督学习素材，从而推动特定领域自然语言处理技术的发展。

使用方法

Vi Pubmed数据集可通过HuggingFace的datasets库便捷加载，用户仅需调用`load_dataset("SEACrowd/vi_pubmed", trust_remote_code=True)`即可获取数据。同时，该数据集也集成于SEACrowd生态系统中，支持通过`seacrowd`库进行加载，用户可查看所有可用子集名称，并依据具体配置名称（config name）调用特定子集。这种双重接口设计兼顾了通用性与灵活性，适用于机器翻译模型的预训练、微调及评估等下游任务，为越南语生物医学自然语言处理研究提供了标准化数据接入途径。

背景与挑战

背景概述

Vi Pubmed数据集由VietAI研究团队于2022年创建，旨在解决越南语生物医学领域机器翻译资源匮乏的问题。该数据集基于PubMed生物医学摘要，通过先进的英-越翻译模型生成约2000万条高质量平行语料，为越南语生物医学预训练Transformer模型提供了大规模无标注数据支撑。其核心研究问题聚焦于跨语言生物医学知识迁移，显著推动了越南语自然语言处理在医疗健康领域的应用。作为SEACrowd数据枢纽的重要组成部分，Vi Pubmed不仅填补了东南亚低资源语言在专业领域机器翻译的空白，还为多语言生物医学信息检索、临床文本分析等下游任务奠定了数据基础，对促进越南乃至东南亚地区的精准医疗研究具有深远影响。

当前挑战

Vi Pubmed面临的核心挑战包括：其一，生物医学领域机器翻译需克服专业术语歧义、句式结构复杂及隐含语义的跨语言对齐难题，传统统计方法难以捕捉领域特异性表达，而神经翻译模型在低资源场景下易出现知识遗忘现象。其二，数据集构建过程中，原始PubMed摘要存在噪声标注、格式不统一等问题，自动翻译生成的平行语料需经严格质量筛选，但当前缺乏针对越南语生物医学文本的自动化评估标准。此外，数据规模虽达2000万条，但相较于通用领域语料仍显不足，且涵盖的医学子领域（如罕见病、药理机制）分布不均，可能限制模型在特定临床场景的泛化能力。

常用场景

经典使用场景

Vi Pubmed数据集的核心经典应用场景在于推动英越双语生物医学领域的机器翻译研究。该数据集汇聚了约2000万条越南语PubMed生物医学摘要，由最先进的英越翻译系统生成，为跨语言医学信息检索与知识迁移提供了大规模、高质量的平行语料。研究者可借此构建和评估面向生物医学领域的神经机器翻译模型，提升越南语与英语之间专业术语与复杂句法的翻译精度，从而弥合语言鸿沟，促进全球医学知识的本地化传播。

解决学术问题

该数据集有效解决了低资源语言（如越南语）在生物医学领域缺乏大规模标注平行语料的学术困境。传统的机器翻译模型在专业领域常因数据稀疏而表现欠佳，Vi Pubmed通过提供领域对齐的双语语料，使研究者能够探索预训练与微调策略，提升翻译模型在医学术语、药物名称及临床描述上的鲁棒性。其意义在于为越南语生物医学自然语言处理奠定了数据基础，推动了低资源语言在专业领域的深度学习研究，并助力构建更精准的跨语言医学知识图谱。

实际应用

在实际应用中，Vi Pubmed数据集可赋能越南语医学文献的自动翻译系统，辅助临床医生和研究人员快速获取国际前沿研究成果。例如，通过训练部署专用翻译引擎，医院与科研机构能实时将英文论文转化为越南语摘要，降低语言障碍。此外，该数据还可用于开发越南语医学问答系统、药物信息检索工具及公共卫生监测平台，将英文生物医学知识无缝融入本地医疗实践，提升越南医疗信息化水平与决策效率。

数据集最近研究

最新研究方向

在生物医学自然语言处理领域，大规模双语语料库的构建与利用正成为推动跨语言知识迁移的关键力量。Vi Pubmed数据集作为越南语与英语生物医学摘要的机器翻译资源，凭借其2000万条高质量翻译对，为低资源语言在专业领域的深度应用开辟了新路径。当前前沿研究聚焦于将该数据集用于预训练越南语生物医学Transformer模型，通过无监督学习范式挖掘领域语义特征，从而提升越南语在临床文本、药物研发及文献挖掘等场景下的处理能力。这一方向不仅呼应了东南亚地区对本土语言AI工具的迫切需求，也通过SEACrowd数据枢纽的标准化整合，为多语种、多模态基准测试提供了重要支撑，其影响已延伸至全球健康信息可及性与区域语言技术生态的构建。