csebuetnlp/illusionVQA-Soft-Localization

IllusionVQA是一个包含光学幻觉和难以解释场景的数据集，旨在测试视觉语言模型在理解和软定位任务中的能力。GPT4V在理解任务中的准确率为62.99%，在定位任务中的准确率为49.7%，而人类在这两个任务中的准确率分别为91.03%和100%。数据集包含图像、问题、选项、答案、类别、推理和ID等特征，分为训练集和测试集，训练集包含4个样本，测试集包含1000个样本。数据集仅用于非商业研究目的，采用CC BY-NC-SA 4.0许可证。

原始信息汇总

数据集概述

数据集名称

IllusionVQA: Optical Illusion Dataset

数据集描述

IllusionVQA 是一个用于测试视觉语言模型在理解和软定位任务中能力的光学错觉和难以解释场景的数据集。

数据集特征

• 图像：图像数据
• 问题：字符串类型
• 选项：字符串序列
• 答案：字符串类型
• 类别：字符串类型
• 推理：字符串类型
• ID：64位整数类型

数据集分割

• 训练集：
  • 字节数：50339
  • 样本数：4
• 测试集：
  • 字节数：24579079
  • 样本数：1000

数据集大小

• 下载大小：24495650
• 数据集大小：24629418

配置

• 默认配置：
  • 训练集路径：data/train-*
  • 测试集路径：data/test-*

许可证

该数据集仅用于非商业研究目的，遵循Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0)。数据集中的图像来自互联网，部分图像的创建者已获得许可，但并非所有创建者的许可都已获得。

引用

@article{shahgir2024illusionvqa, title={IllusionVQA: A Challenging Optical Illusion Dataset for Vision Language Models}, author={Haz Sameen Shahgir and Khondker Salman Sayeed and Abhik Bhattacharjee and Wasi Uddin Ahmad and Yue Dong and Rifat Shahriyar}, year={2024}, url={https://arxiv.org/abs/2403.15952}, }