vcr-org/VCR-wiki-zh-easy-test-100

VCR-Wiki数据集用于视觉字幕恢复（VCR）任务，旨在评估视觉语言模型在图像中恢复部分遮挡文本的能力。数据集包含图像、字幕、堆叠图像等字段，并通过一系列步骤生成合成图像以控制任务难度。数据集还提供了详细的评估方法和模型性能比较。

原始信息汇总

VCR-Wiki 数据集概述

数据集描述

VCR-Wiki 数据集是为视觉字幕恢复（Visual Caption Restoration, VCR）任务设计的，旨在评估视觉语言模型在图像中恢复部分遮挡文本的能力。数据集包含以下特征：

• question_id: int64，当前分割中的实例ID。
• image: image，原始视觉图像（VI）。
• caption: string，TEI图像中未遮挡的原始文本。
• stacked_image: image，包含原始视觉图像和遮挡文本嵌入图像的堆叠图像。
• only_it_image: image，遮挡的TEI图像。
• only_it_image_small: image，小尺寸的遮挡TEI图像。
• crossed_text: List[string]，当前实例中遮挡的n-gram。

数据集分割

• test: 包含100个样本，总字节数为21161895。

数据集大小

• 下载大小: 21143626字节
• 数据集大小: 21161895字节

数据集配置

• default: 包含测试数据文件，路径为data/test-*。

数据集来源

• wikimedia/wit_base

任务类别

• visual-question-answering

语言

• zh

数据集构建

数据集通过以下步骤构建：

1. 数据收集和初步过滤：从wikimedia/wit_base收集数据，并过滤掉包含敏感内容的实例。
2. N-gram选择：截断描述并使用spaCy进行分词，随机遮挡5-gram。
3. 创建嵌入文本的图像：将描述嵌入图像中，并遮挡选定的5-gram。
4. 拼接图像：将TEI与VI拼接成堆叠图像。
5. 第二轮过滤：过滤掉没有遮挡n-gram或高度超过900像素的实例。

数据集字段

• question_id: int64，实例ID。
• image: PIL.Image.Image，原始视觉图像。
• stacked_image: PIL.Image.Image，堆叠图像。
• only_it_image: PIL.Image.Image，遮挡的TEI图像。
• caption: str，未遮挡的原始文本。
• crossed_text: List[str]，遮挡的n-gram。

许可证

数据集使用CC BY-SA 4.0许可证。

引用

如果使用该数据集，请引用以下文献： bibtex @article{zhang2024vcr, title = {VCR: Visual Caption Restoration}, author = {Tianyu Zhang and Suyuchen Wang and Lu Li and Ge Zhang and Perouz Taslakian and Sai Rajeswar and Jie Fu and Bang Liu and Yoshua Bengio}, year = {2024}, journal = {arXiv preprint arXiv: 2406.06462} }

搜集汇总

数据集介绍

构建方式

该数据集VCR-Wiki-zh-easy-test-100旨在评估视觉语言模型在视觉字幕恢复任务上的能力。它通过从Wikimedia的WIT_base数据集中收集图像和字幕对，并生成带有部分文字被遮挡的合成图像来构建。为了控制任务难度，这些字幕的可见性可以调整。通过将遮挡的文字部分用白色矩形覆盖，并确保揭示的部分对于母语人士来说仍然可恢复，从而形成视觉字幕恢复任务。此外，数据集在构建过程中进行了两次筛选，以排除敏感内容和不符合要求的实例。

特点

VCR-Wiki-zh-easy-test-100数据集具有以下特点：首先，它是一个视觉字幕恢复数据集，旨在评估视觉语言模型在部分遮挡文本恢复任务上的性能。其次，数据集的构建采用了图像和字幕对，并通过调整字幕的可见性来控制任务的难度。最后，数据集在构建过程中进行了两次筛选，以排除敏感内容和不符合要求的实例。

使用方法

使用VCR-Wiki-zh-easy-test-100数据集的方法包括：首先，从Hugging Face Datasets中下载数据集。其次，根据数据集的结构和格式，编写数据处理和加载代码。最后，使用数据集进行视觉字幕恢复任务的训练和评估。此外，数据集还提供了三种评估模型性能的方法：使用评估脚本、使用VLMEvalKit框架和lmms-eval框架。

背景与挑战

背景概述

视觉描述恢复（VCR）是一项旨在评估视觉语言模型通过像素级提示恢复部分遮挡文本的能力的任务。该任务要求模型不仅理解图像内容，还要结合上下文和被遮挡文本的微小暴露区域中的微妙线索。VCR-Wiki数据集是专门为这项任务设计的，它由图像-标题对组成，其中标题的可见性可调，以控制任务难度。该数据集由Tianyu Zhang等人创建，并由MILA（蒙特利尔人工智能研究所）的团队进行维护。VCR-Wiki数据集对视觉语言领域的研究具有重要意义，因为它为评估模型在处理视觉和语言信息结合的任务方面的能力提供了一个新的基准。

当前挑战

VCR任务面临的挑战包括：1)视觉语言模型在理解和恢复被遮挡文本方面与人类表现相比仍有差距；2)构建过程中，如何有效地生成合成图像以及控制标题的可见性以适应不同难度的任务是一个技术挑战；3)在模型评估方面，如何公平地比较开源和闭源模型也是一个挑战，因为它们可能在训练数据、模型大小和评估方法上存在差异。

常用场景

经典使用场景

在视觉问答领域，VCR-Wiki数据集被广泛应用于评估和训练视觉语言模型在视觉描述恢复任务上的能力。该数据集通过提供包含部分遮挡文本的图像，要求模型根据图像内容、上下文和细微的文本线索来恢复完整的文本信息。这一任务对模型的视觉理解能力、文本生成能力以及跨模态信息整合能力提出了挑战，使得VCR-Wiki数据集成为视觉问答研究中不可或缺的资源。

解决学术问题

VCR-Wiki数据集解决了视觉问答研究中一个关键的问题，即如何在部分遮挡文本的情况下准确恢复文本信息。该数据集通过提供包含部分遮挡文本的图像和对应的描述，为视觉语言模型提供了丰富的训练和测试数据，帮助研究人员评估和改进模型在视觉描述恢复任务上的性能。此外，VCR-Wiki数据集还揭示了当前视觉语言模型在视觉描述恢复任务上的局限性，为未来研究提供了方向。

衍生相关工作

VCR-Wiki数据集的发布推动了视觉问答领域中多个相关研究的发展。例如，研究人员基于VCR-Wiki数据集提出了多种改进视觉描述恢复任务的模型和方法，包括改进的注意力机制、多模态信息融合策略以及基于对抗性训练的文本恢复方法。这些研究不仅提高了视觉语言模型在视觉描述恢复任务上的性能，还为视觉问答领域的发展提供了新的思路和方向。