SEACrowd/vihealthqa

越南语视觉问答（ViVQA）数据集包含10328张图片和15000个越南语问答对，用于评估越南语VQA模型。该数据集基于从MS COCO数据集中随机选择的10328张图片构建，问答对基于COCO-QA数据集自动从英语翻译成越南语。

Vietnamese Visual Question Answering (ViVQA) consists of 10328 images and 15000 question-answer pairs in Vietnamese for evaluating Vietnamese VQA models. This dataset is built based on 10328 randomly selected images from the MS COCO dataset. The question-answer pairs were based on the COCO-QA dataset that was automatically translated from English to Vietnamese.

原始信息汇总

Vihealthqa 数据集概述

基本信息

• 名称: Vihealthqa
• 语言: 越南语 (vie)
• 任务类别: 问答 (question-answering)
• 标签: 问答 (question-answering)
• 许可证: 未知 (unknown)

数据集描述

• 内容: 包含10328张图片和15000个越南语问答对，用于评估越南语视觉问答（VQA）模型。
• 来源: 基于MS COCO数据集的10328张随机选择的图片，问答对基于COCO-QA数据集自动从英语翻译为越南语。

支持的任务

• 问答

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

引用

• Vihealthqa:

  @InProceedings{nguyen2022viheathqa, author="Nguyen, Nhung Thi-Hong and Ha, Phuong Phan-Dieu and Nguyen, Luan Thanh and Van Nguyen, Kiet and Nguyen, Ngan Luu-Thuy", title="SPBERTQA: A Two-Stage Question Answering System Based on Sentence Transformers for Medical Texts", booktitle="Knowledge Science, Engineering and Management", year="2022", publisher="Springer International Publishing", address="Cham", pages="371--382", isbn="978-3-031-10986-7" }

• SEACrowd:

  @article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

Vihealthqa数据集是面向越南语视觉问答任务构建的多模态资源，其设计旨在弥补越南语在视觉语言理解领域的数据匮乏。该数据集基于MS COCO数据集中随机选取的10328张图像，并参考COCO-QA数据集的问答结构，通过自动翻译技术将英文问题与答案转化为越南语，最终形成包含15000个问答对的标注集合。这一构建流程兼顾了视觉场景的多样性与语言的本土化适配。

特点

该数据集的核心特点在于其双语迁移的独特性，借助MS COCO的丰富视觉内容与COCO-QA的问答范式，实现了越南语视觉问答的规模化落地。数据覆盖广泛的自然场景，问题类型涵盖物体识别、计数、空间关系等认知维度，为评估越南语多模态模型提供了兼具挑战性与代表性的基准。此外，数据集采用标准化的问答格式，便于直接用于下游任务的训练与测试。

使用方法

使用者可通过HuggingFace的datasets库便捷加载该数据集，调用`load_dataset("SEACrowd/vihealthqa", trust_remote_code=True)`即可获取完整数据。对于需要特定架构的用户，SEACrowd库提供了更灵活的配置选项，支持按子集名称加载数据，并允许通过`schema="seacrowd"`参数适配统一的数据模式。该数据集适用于越南语视觉问答模型的训练、验证与评估，亦可用于跨语言视觉推理的研究场景。

背景与挑战

背景概述

ViHealthQA数据集由越南研究团队于2022年创建，主要研究人员包括Nguyen Thi-Hong Nhung等人，其核心研究问题聚焦于推动越南语视觉问答（VQA）技术的发展。该数据集包含10,328张图片和15,000对问答对，所有内容均以越南语呈现，旨在填补越南语多模态理解领域的空白。数据集基于MS COCO的随机图片构建，问答对源自COCO-QA的自动翻译，为评估越南语VQA模型提供了标准化基准。自发布以来，ViHealthQA已成为东南亚语言处理领域的重要资源，尤其在医疗文本问答等应用中展现出影响力，推动了低资源语言多模态研究的前进。

当前挑战

ViHealthQA所解决的领域挑战在于越南语视觉问答任务中缺乏高质量标注数据集，限制了模型在复杂场景下的理解能力。构建过程中，团队面临两大挑战：一是从COCO-QA自动翻译时，越南语语法和语义的准确性难以保证，可能导致问答对存在歧义；二是图片与问答对的对应关系需人工校验，以确保多模态一致性，但大规模标注成本高昂。此外，数据集基于通用场景图片，缺乏领域特异性，如医疗或教育场景，限制了其在专业任务中的泛化能力。这些挑战凸显了低资源语言多模态数据构建的复杂性，亟需更精细的标注策略和领域扩展方案。

常用场景

经典使用场景

在视觉与语言交叉领域，SEACrowd/vihealthqa数据集为越南语视觉问答研究提供了关键资源。该数据集包含10,328张源自MS COCO的图像以及15,000对越南语问答对，其构建基于COCO-QA数据集的自动翻译与本地化适配。研究者常利用该数据集训练和评估针对越南语环境的VQA模型，通过图像理解与自然语言处理的深度融合，检验模型在跨模态语义对齐、细粒度视觉特征提取及越南语复杂句法解析上的综合能力。

衍生相关工作

基于vihealthqa数据集，学术界已衍生出若干经典工作。其中，Nguyen等人提出的SPBERTQA系统采用两阶段架构，结合句子变换器与阅读理解模型，在医疗文本问答任务上取得了显著性能提升。此外，SEACrowd项目将该数据集纳入多语言多模态数据枢纽，为东南亚语言AI评测基准的构建提供了标准化支持。这些工作共同推动了越南语自然语言处理与视觉理解技术的交叉创新。

数据集最近研究

最新研究方向

当前，视觉问答（VQA）领域正朝着多语言、多模态融合的方向纵深发展，而越南语医学视觉问答数据集ViHealthQA的构建恰好契合了这一前沿趋势。该数据集基于MS COCO图像与自动翻译的COCO-QA问答对，专为评估越南语VQA模型而生，其独特之处在于将视觉理解与越南语医学文本的语义推理相结合。近期研究聚焦于利用Sentence Transformers等预训练模型实现两阶段问答系统（如SPBERTQA），通过先检索相关文本片段再生成答案的策略，显著提升了在低资源语言场景下的跨模态对齐能力。ViHealthQA的出现不仅填补了越南语医学VQA基准的空白，更为东南亚低资源语言的智能医疗辅助诊断、患者教育等应用提供了关键数据支撑，推动多语言视觉推理从通用场景向垂直领域的精细化落地。