UIT-ViIC

UIT-ViIC是越南信息科技大学创建的首个越南语图像描述数据集，包含3,850张与球类运动相关的图像，共有19,250条越南语描述。数据集内容主要来源于Microsoft COCO数据集，专注于球类运动图像，通过人工编写描述来确保语言的自然性和准确性。创建过程中，使用了专门的注释工具和严格的注释指南，确保描述的质量。该数据集主要应用于图像描述生成领域，旨在解决越南语环境下图像描述自动生成的难题。

UIT-ViIC is the first Vietnamese image captioning dataset developed by the University of Information Technology (UIT), Vietnam. It contains 3,850 images related to ball sports, with a total of 19,250 Vietnamese captions. The dataset is primarily sourced from the Microsoft COCO dataset, focusing on ball sports images, and its captions are manually written to guarantee linguistic naturalness and accuracy. During the dataset construction, specialized annotation tools and strict annotation guidelines were adopted to ensure the quality of the captions. This dataset is mainly applied in the field of image caption generation, aiming to address the challenges of automatic image caption generation in Vietnamese contexts.

搜集汇总

数据集介绍

构建方式

UIT-ViIC数据集的构建以MS-COCO中与球类运动相关的3,850张图像为基础，由五位母语为越南语且年龄在22至25岁之间的标注者手工撰写描述。标注过程借助一款自研的网页标注工具，该工具提供类别提示与原始英文描述作为内容建议，以辅助标注者更准确地理解图像。每位标注者需遵循严格的标注指南，包括每句描述至少包含十个越南语单词、仅描述图像中可见的活动与对象、避免使用地名与个人观点等规则，最终为每张图像生成五句越南语描述，累计获得19,250条自然且符合越南语习惯的标题。

特点

该数据集聚焦于球类运动这一特定领域，涵盖网球、棒球等多种运动类型，具有高度的领域专一性与描述一致性。其独特之处在于所有标题均由人类手工撰写，而非机器翻译，因此语言表达更加自然流畅，避免了直译带来的生硬与歧义。数据集词汇量达1,472个词类，其中名词“bóng”（球）出现频率最高，动词“cầm”（握）与形容词“tennis”也较为突出，反映出运动场景的典型性。此外，标注工具的内容建议功能与严格的指南确保了描述的质量与一致性，使得数据集在BLEU-2至BLEU-4及CIDEr等评估指标上表现优异，甚至超越原始英文数据集。

使用方法

UIT-ViIC数据集适用于训练与评估越南语图像描述模型，研究者可采用编码器-解码器架构，如基于CNN与LSTM的NIC模型或Pytorch教程模型。使用时需对数据集进行预处理，包括纠正标注中的拼写、语法及标点错误，并利用PyVI分词工具进行越南语分词，以提升模型性能。数据集已按2,695张训练图、924张验证图与231张测试图划分，可与原始英文数据集或机器翻译的越南语数据集进行对比实验，通过BLEU、ROUGE及CIDEr等指标评估模型效果。该数据集已公开发布于研究网站，供学术界用于推动越南语图像描述领域的发展。

背景与挑战

背景概述

图像描述生成（Image Captioning）作为计算机视觉与自然语言处理的交叉领域，近年来备受瞩目，其核心在于为图像自动生成语义连贯的自然语言描述。然而，现有研究多聚焦于英语等资源丰富的语言，对越南语等低资源语言的探索尚属空白。为填补这一缺口，越南信息大学（University of Information Technology）的研究团队于2019年构建了UIT-ViIC数据集，由Quan Hoang Lam、Quang Duy Le、Kiet Van Nguyen和Ngan Luu-Thuy Nguyen共同完成。该数据集从Microsoft COCO中精选3850张球类运动图像，由母语者人工撰写19250条越南语描述，旨在解决越南语图像描述任务中缺乏标准化语料库的根本问题。作为越南首个此类数据集，UIT-ViIC为低资源语言的图像描述研究奠定了基石，推动了多语言视觉语言理解的发展。

当前挑战

UIT-ViIC面临的挑战涵盖领域问题与构建过程两大层面。在领域问题方面，图像描述任务要求模型同时理解视觉内容与语言结构，而越南语作为分析性语言，其词汇分割复杂、语法依赖语序，且缺乏大规模预训练模型，导致现有基于英语的编码器-解码器架构（如NIC模型）在越南语上性能下降，尤其在高阶BLEU指标和CIDEr评分上波动显著。在构建过程中，挑战尤为突出：首先，人工标注需严格遵循10条指南，包括句子长度至少10个词、排除主观意见及模糊物体，这要求标注员具备体育专业知识与越南语写作能力；其次，团队仅5名22-25岁的母语者，规模有限，且标注一致性难以保证，需反复培训；最后，数据集仅覆盖球类运动单一领域，词汇量仅1472个词类，限制了模型的泛化能力，未来扩展至全类别运动成为必要方向。

常用场景

经典使用场景

UIT-ViIC数据集的核心应用场景在于推动越南语图像描述生成任务（Vietnamese Image Captioning）的发展。作为首个面向越南语的手工标注图像描述数据集，它基于MS-COCO中与球类运动相关的3,850张图像，每张图像配备五条人工撰写的越南语描述，共计19,250条语句。该数据集填补了越南语在图像描述领域的空白，为研究者提供了标准化基准，用于训练和评估从图像到越南语文本的跨模态生成模型，尤其聚焦于体育场景下的精细化语义理解与表达。

解决学术问题

该数据集解决了越南语图像描述研究中长期缺乏高质量标注语料的学术瓶颈。此前，越南语图像描述多依赖机器翻译将英文描述直译，但受限于文化差异和语言结构差异，翻译结果常出现语义扭曲或表达生硬的问题。UIT-ViIC通过人工标注确保了描述的自然性与文化适配性，为评估编码器-解码器架构（如NIC和Pytorch-tutorial模型）在越南语上的性能提供了可靠实验平台。实验证明，人工标注数据在BLEU-2至BLEU-4及CIDEr指标上显著优于机器翻译数据集，验证了手工语料对提升模型语义准确性和语言流畅性的关键作用。

衍生相关工作

UIT-ViIC的发布催生了多项越南语图像描述领域的后续研究。其构建流程和标注工具（如基于Web的辅助标注平台）为其他低资源语言（如泰语、高棉语）的图像描述数据集建设提供了方法论参考。此外，该数据集推动了针对越南语特性的分词工具（如PyVI）在图像描述任务中的适配与优化。在模型层面，研究者基于UIT-ViIC探索了注意力机制、多模态融合等架构在越南语上的改进，并衍生出跨语言图像检索、越南语-英语双语描述生成等扩展任务，进一步丰富了低资源语言视觉-语言研究的生态。