lmms-lab/VizWiz-VQA

--- dataset_info: features: - name: question_id dtype: string - name: image dtype: image - name: question dtype: string - name: answers sequence: string - name: category dtype: string splits: - name: val num_bytes: 2097998373.0 num_examples: 4319 - name: test num_bytes: 3982325314.0 num_examples: 8000 download_size: 6050372614 dataset_size: 6080323687.0 --- # Dataset Card for "VizWiz-VQA" <p align="center" width="100%"> <img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%"> </p> # Large-scale Multi-modality Models Evaluation Suite > Accelerating the development of large-scale multi-modality models (LMMs) with `lmms-eval` 🏠 [Homepage](https://lmms-lab.github.io/) | 📚 [Documentation](docs/README.md) | 🤗 [Huggingface Datasets](https://huggingface.co/lmms-lab) # This Dataset This is a formatted version of [VizWiz-VQA](https://vizwiz.org/tasks-and-datasets/vqa/). It is used in our `lmms-eval` pipeline to allow for one-click evaluations of large multi-modality models. ``` @inproceedings{gurari2018vizwiz, title={Vizwiz grand challenge: Answering visual questions from blind people}, author={Gurari, Danna and Li, Qing and Stangl, Abigale J and Guo, Anhong and Lin, Chi and Grauman, Kristen and Luo, Jiebo and Bigham, Jeffrey P}, booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition}, pages={3608--3617}, year={2018} } ``` [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 特征字段： - 字段名：question_id，数据类型：字符串 - 字段名：image，数据类型：图像 - 字段名：question，数据类型：字符串 - 字段名：answers，数据类型：字符串序列 - 字段名：category，数据类型：字符串 划分集： - 划分集名：val，字节数：2097998373.0，样本数：4319 - 划分集名：test，字节数：3982325314.0，样本数：8000 下载大小：6050372614 数据集总大小：6080323687.0 # 「VizWiz-VQA」数据集卡片 <p align="center" width="100%"> <img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%"> </p> # 大规模多模态模型评测套件 > 借助`lmms-eval`工具链加速大规模多模态模型（Large-scale Multi-modality Models, LMMs）的研发 🏠 [主页](https://lmms-lab.github.io/) | 📚 [文档](docs/README.md) | 🤗 [Huggingface数据集](https://huggingface.co/lmms-lab) ## 本数据集 本数据集是[VizWiz-VQA](https://vizwiz.org/tasks-and-datasets/vqa/)的格式化版本，可在我们的`lmms-eval`评测流水线中使用，实现大规模多模态模型的一键评测。 @inproceedings{gurari2018vizwiz, title={VizWiz挑战赛：回答视障人士的视觉问题}, author={Gurari, Danna and Li, Qing and Stangl, Abigale J and Guo, Anhong and Lin, Chi and Grauman, Kristen and Luo, Jiebo and Bigham, Jeffrey P}, booktitle={IEEE计算机视觉与模式识别会议论文集}, pages={3608--3617}, year={2018} } [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

特征

• question_id: 字符串类型
• image: 图像类型
• question: 字符串类型
• answers: 字符串序列
• category: 字符串类型

分割

• val:
  • 字节数: 2097998373.0
  • 样本数: 4319
• test:
  • 字节数: 3982325314.0
  • 样本数: 8000

大小

• 下载大小: 6050372614
• 数据集大小: 6080323687.0

搜集汇总

数据集介绍

构建方式

VizWiz-VQA数据集源自一项针对视障人士视觉问答需求的研究，由Gurari等人于2018年提出。该数据集在原始版本基础上进行了格式化处理，以适配lmms-eval评估流水线，支持大规模多模态模型的一键式评测。数据集包含图像、问题、答案及类别等字段，划分为验证集（4319个样本）和测试集（8000个样本），确保数据分布的均衡性与评估的严谨性。

使用方法

使用该数据集时，可直接通过HuggingFace Datasets库加载，集成于lmms-eval框架中实现自动化评估。用户需准备多模态模型，输入图像与问题对，模型输出预测答案后与标准答案序列进行比对。数据集提供了标准化接口，支持灵活的实验配置，便于研究者快速复现基准结果或开展跨模型比较，尤其适用于评估视觉语言模型在低资源、高噪声环境下的表现。

背景与挑战

背景概述

视觉问答（Visual Question Answering, VQA）作为多模态人工智能的核心任务之一，旨在使机器能够理解图像内容并回答与之相关的自然语言问题。然而，传统VQA数据集多聚焦于明眼用户场景，忽略了视觉障碍群体的真实需求。VizWiz-VQA数据集由达娜·古拉里（Danna Gurari）等研究者于2018年提出，源自康奈尔大学、卡内基梅隆大学等机构的合作，核心研究问题在于探索如何使视觉问答系统服务于盲人用户。该数据集包含超过3万张由盲人拍摄的图片及其语音提出的问题，覆盖多种真实场景，其创造性在于揭示了视觉障碍者面临的独特挑战，如图像模糊、光照不足、取景偏差等，极大地推动了无障碍人工智能领域的发展，并为后续多模态模型评估提供了重要基准。

当前挑战

VizWiz-VQA数据集面临的核心挑战在于解决真实场景中的低质量视觉输入问题。首先，与常规VQA任务不同，盲人拍摄的图像常存在运动模糊、对焦不准、部分遮挡等缺陷，导致视觉特征提取困难，传统基于清晰图像的模型难以直接迁移。其次，问题表述常包含口语化、不完整或依赖上下文的信息，增加了语言理解的复杂性。此外，数据集构建过程中需克服标注偏差——由于答案需由明眼人提供，可能无法完全反映盲人用户的真实意图，且图像质量分布不均导致模型泛化能力受限。这些挑战要求研究者开发鲁棒的多模态融合策略，并探索如何结合辅助信息（如语音语调）以提升系统在极端条件下的表现。

常用场景

经典使用场景

VizWiz-VQA数据集源自真实世界中视障人士拍摄的视觉问题，其核心应用场景在于评估与提升多模态大模型在低质量、非专业拍摄条件下的视觉问答能力。研究者常利用该数据集检验模型对模糊、过曝、倾斜或遮挡图像中蕴含语义的解析水平，并考察模型能否准确理解视障群体提出的口语化、情境依赖的自然语言问题。这一场景不仅挑战模型对视觉与语言信息的联合推理能力，更强调其在资源受限、噪声干扰下的鲁棒性，成为衡量通用人工智能在辅助视障人士场景中实用性的重要基准。

解决学术问题

该数据集系统性地回应了传统视觉问答研究长期忽视的一个关键问题：在图像质量退化、问题表述非标准化条件下，模型能否保持可靠的问答性能。学术界此前多依赖精心拍摄的高清图像与规范问题，难以反映真实辅助场景中的复杂性。VizWiz-VQA通过引入真实视障用户拍摄的模糊、不完整图像及口语化问题，填补了鲁棒视觉问答研究的空白，推动了多模态模型在噪声环境下语义理解、注意力机制优化以及不确定性建模等方向的探索，其发布直接催生了针对低质量输入的多模态融合策略研究浪潮。

实际应用

在实际应用中，VizWiz-VQA所模拟的场景直接服务于视障辅助技术的落地与迭代。基于该数据集训练的模型可被集成至智能手机或可穿戴设备中，帮助视障用户通过拍摄并提问的方式获取环境信息，例如识别药瓶标签、确认衣物颜色或判断道路障碍物。此外，该数据集还被用于优化远程视觉辅助平台中的自动问答模块，减少对人工描述员的依赖，从而降低服务成本并提升响应速度。其影响力已延伸至智能家居、无障碍导航及公共设施信息获取等领域，为构建更具包容性的视觉交互系统提供了关键数据支撑。

数据集最近研究

最新研究方向

在视觉与语言交叉领域，VizWiz-VQA数据集聚焦于为视障人群服务的视觉问答技术，其最新研究方向紧密围绕大规模多模态模型（LMMs）的评估与优化。随着GPT-4V、LLaVA等模型的崛起，该数据集被lmms-eval框架采纳，成为检验这些模型在真实、嘈杂场景下视觉理解与语言生成能力的基准。研究前沿集中于解决低画质、模糊图像及非正式问题带来的挑战，推动模型在辅助视障人士日常生活中的应用。该数据集的意义在于，它不仅促进了多模态模型在包容性AI上的进步，还通过标准化评估流程，加速了从学术研究到实际部署的转化，对构建更具社会责任感的人工智能系统具有深远影响。