SEACrowd/vivqa

越南视觉问答数据集（ViVQA）包含10328张图片和15000个越南语的问答对，用于评估越南语的视觉问答模型。这些图片是从MS COCO数据集中随机选取的，而问答对则是基于COCO-QA数据集自动从英语翻译成越南语的。

原始信息汇总

ViVQA 数据集概述

基本信息

• 名称: ViVQA
• 语言: 越南语 (vie)
• 任务类别: 视觉问答 (Visual Question Answering)
• 标签: 视觉问答

数据集描述

• 规模: 包含10328张图片和15000个越南语的问答对。
• 来源: 基于MS COCO数据集的10328张随机选择的图片，问答对基于COCO-QA数据集自动从英语翻译为越南语。

支持的任务

• 视觉问答

数据集版本

• 源版本: 1.0.0
• SEACrowd版本: 2024.06.20

数据集许可证

• 未知

引用

• 使用ViVQA数据集时，请引用以下文献：

  @inproceedings{tran2021vivqa, title={ViVQA: Vietnamese visual question answering}, author={Tran, Khanh Quoc and Nguyen, An Trong and Le, An Tran-Hoai and Van Nguyen, Kiet}, booktitle={Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation}, pages={683--691}, year={2021} }

  @article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

ViVQA（Vietnamese Visual Question Answering）数据集专为评估越南语视觉问答模型而构建。其图像来源为从MS COCO数据集中随机选取的10,328张图片，而问答对则基于COCO-QA数据集，通过自动机器翻译技术从英语转换为越南语，最终形成包含15,000个问答对的多模态资源。这一构建策略有效利用了现有大规模英文视觉问答数据，降低了从零开始标注越南语数据的成本，同时保持了图像内容的多样性与问答任务的复杂性。

特点

该数据集的核心特点在于其双语迁移特性与领域适配性。作为越南语视觉问答领域的代表性基准，ViVQA不仅保留了原始COCO图像中丰富的场景与物体类别，还通过翻译生成的越南语问答对覆盖了视觉推理、常识理解等多维度任务。此外，数据集规模适中，兼顾了模型训练的效率与评估的可靠性，为低资源语言场景下的多模态研究提供了关键支撑。

使用方法

ViVQA可通过HuggingFace的`datasets`库便捷加载，执行`load_dataset('SEACrowd/vivqa', trust_remote_code=True)`即可获取数据。亦可借助SEACrowd生态工具`seacrowd`库，通过`sc.load_dataset('vivqa', schema='seacrowd')`或指定配置名称加载特定子集。数据以标准格式返回，可直接用于视觉问答模型的训练与评估，适配主流深度学习框架。关于库的详细使用说明，可参考SEACrowd官方文档。

背景与挑战

背景概述

在自然语言处理与计算机视觉交叉领域，视觉问答（Visual Question Answering, VQA）是一项核心任务，要求模型基于图像内容理解并回答自然语言问题。然而，现有VQA数据集大多以英语为中心，严重制约了低资源语言如越南语的相关研究发展。为弥补这一空白，Khanh Quoc Tran、An Trong Nguyen等研究者于2021年构建了ViVQA数据集，该数据集包含10,328张图像和15,000个越南语问答对，图像源自MS COCO的随机采样，问答对则基于COCO-QA语料经自动翻译与人工校正而成。ViVQA的发布为越南语VQA模型提供了首个标准化评估基准，推动了多语言VQA研究的拓展，并在SEACrowd数据枢纽中整合，进一步强化了其在东南亚语言处理领域的学术影响力。

当前挑战

ViVQA数据集面临多重挑战。首先，在领域问题层面，越南语作为一种黏着语，词素丰富且语法灵活，使得模型在理解图像细节与复杂问题语义时易受语言歧义干扰，例如物体属性、空间关系等跨模态对齐任务。其次，构建过程中，问答对依赖从英语自动翻译，虽经人工校正，但文化特定表述（如越南本土物品或习俗）的缺失可能导致翻译偏差，影响问题多样性与图像-问题匹配的自然度。此外，图像来源单一（仅限MS COCO），限制了场景覆盖范围，模型在领域外图像上的泛化能力存疑。数据规模相对较小也增加了过拟合风险，对训练鲁棒的多模态模型构成显著障碍。

常用场景

经典使用场景

在视觉与语言交叉领域的研究中，ViVQA数据集为越南语视觉问答任务提供了核心评测平台。该数据集基于MS COCO图像库筛选出10,328幅图片，并借助COCO-QA数据集的自动翻译与人工校验，构建了15,000个越南语问答对。研究者常利用该数据集训练多模态融合模型，评估模型在越南语环境下对图像内容的理解与推理能力，例如通过注意力机制对齐视觉特征与语言表征，或采用预训练-微调范式提升跨语言迁移效果。

衍生相关工作

ViVQA数据集催生了一系列衍生研究：Tran等人（2021）提出的基线模型采用双线性注意力网络实现越南语VQA；后续工作探索了基于XLM-R的多语言视觉问答框架，验证了跨语言知识共享的有效性；2023年有研究利用ViVQA评估大型语言模型（如LLaVA）的越南语视觉推理能力。该数据集还被整合至SEACrowd基准套件中，成为东南亚多模态语言评估的重要组件。

数据集最近研究

最新研究方向

当前，随着多模态人工智能技术的迅猛发展，视觉问答（VQA）作为连接计算机视觉与自然语言处理的核心任务，正逐步向低资源语言领域拓展。ViVQA数据集作为越南语视觉问答的标杆资源，其基于MS COCO图像与COCO-QA自动翻译构建的特点，为越南语多模态理解研究提供了关键支撑。前沿研究方向聚焦于利用该数据集评估和提升越南语VQA模型在复杂场景下的语义对齐能力，尤其是在跨语言迁移学习与低资源场景下的泛化性能。近期热点包括结合大规模预训练语言模型如PhoBERT进行多模态融合，以及探索数据增强策略以缓解自动翻译带来的噪声问题。ViVQA的出现不仅填补了东南亚语言在视觉语言理解领域的空白，更推动了多语言VQA基准的多样化发展，对促进包容性AI技术具有深远意义。