vcr-org/VCR-wiki-zh-easy-test
收藏资源简介：
VCR-Wiki数据集是一个用于视觉字幕恢复（VCR）任务的数据集，旨在评估视觉语言模型在图像中恢复部分遮挡文本的能力。数据集包含图像、堆叠图像、仅包含文本的图像、字幕和交叉文本等字段。数据集的构建过程包括数据收集、初始过滤、N-gram选择、创建文本嵌入图像、图像拼接和第二轮过滤。数据集还提供了详细的评估方法和模型性能比较。
The VCR-Wiki dataset is designed for the Visual Caption Restoration (VCR) task, aiming to evaluate the capability of vision-language models to restore partially obscured texts within images. The dataset includes fields such as images, stacked images, only text images, captions, and crossed text. The dataset construction process involves data collection, initial filtering, N-gram selection, creating text embedded in images, image concatenation, and second-round filtering. The dataset also provides detailed evaluation methods and model performance comparisons.
VCR-Wiki 数据集概述
数据集描述
数据集名称
- VCR-Wiki
数据集任务
- 视觉字幕恢复（Visual Caption Restoration, VCR）
数据集语言
- 中文（zh）
数据集大小
- 下载大小：1031889519 字节
- 数据集大小：1032693834 字节
数据集分割
- 测试集（test）：包含 5000 个样本，大小为 1032693834 字节
数据集特征
question_id：样本ID，类型为int64image：原始视觉图像，类型为imagecaption：未遮蔽的原始文本，类型为stringstacked_image：包含原始视觉图像和遮蔽文本嵌入图像的堆叠图像，类型为imageonly_it_image：遮蔽的文本嵌入图像，类型为imageonly_it_image_small：遮蔽的文本嵌入图像（小尺寸），类型为imagecrossed_text：当前实例中遮蔽的n-grams，类型为sequence
数据集构建
- 数据收集和初始过滤：原始数据来自 wikimedia/wit_base，过滤掉包含敏感内容的实例。
- N-gram选择：截断描述并使用spaCy进行分词，随机遮蔽5-grams。
- 创建文本嵌入图像：将描述嵌入图像并遮蔽选定的5-grams。
- 拼接图像：将文本嵌入图像与原始视觉图像拼接。
- 第二轮过滤：过滤掉没有遮蔽n-grams或高度超过900像素的实例。
数据集许可证
- Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)
数据集引用
bibtex @article{zhang2024vcr, title = {VCR: Visual Caption Restoration}, author = {Tianyu Zhang and Suyuchen Wang and Lu Li and Ge Zhang and Perouz Taslakian and Sai Rajeswar and Jie Fu and Bang Liu and Yoshua Bengio}, year = {2024}, journal = {arXiv preprint arXiv: 2406.06462} }
