VAQUUM

VAQUUM数据集是一个包含1089张图片及对应20300条人类评价的新颖数据集。这些图片来源于不同类型的物体，并配有人类对包含模糊量词的陈述的评价。数据集通过结合图片和文本信息，旨在评估视觉和语言模型在处理模糊量词时的表现。

The VAQUUM dataset is a novel resource consisting of 1,089 images and 20,300 corresponding human evaluations. These images are sourced from diverse object categories, and the paired evaluations represent human judgments on statements that incorporate vague quantifiers. By integrating visual and textual information, this dataset is developed to assess the performance of vision-language models when dealing with vague quantifiers.

搜集汇总

数据集介绍

构建方式

VAQUUM数据集的构建基于对1089张图像中量化陈述的人类评价，这些图像包含了不同类型的物体及其数量。数据集采用了从FSC-133和TallyQA测试集中抽取的图像，并排除了部分不适用或不可数的物体类别。为了平衡数据集中的物体数量，研究人员将99个不同的计数分为33个计数区间，并从每个区间中随机抽取33张图像。此外，数据集还包含了物体的分割面积和尺寸标准，这些信息通过CLIPSeg和THINGSplus数据库获得。最后，研究人员招募了203名英语母语者对量化陈述的准确性进行评价，以构建VAQUUM数据集。

特点

VAQUUM数据集的特点在于它结合了图像和人类对量化陈述的评价。数据集包含了不同类型的物体和它们的数量，以及人类对包含模糊量词的量化陈述的评价。此外，数据集还包含了物体的分割面积和尺寸标准，这些信息有助于模型理解物体的视觉特征和实际大小。VAQUUM数据集旨在评估视觉语言模型在理解和生成模糊量词方面的能力，并与人类评价进行比较。

使用方法

VAQUUM数据集的使用方法包括以下几个方面：首先，研究人员可以比较人类评价和视觉语言模型预测之间的差异，以评估模型在理解和生成模糊量词方面的表现。其次，研究人员可以分析影响人类和模型评价的视觉上下文特征，例如物体数量、分割面积和尺寸标准。此外，研究人员还可以使用VAQUUM数据集来训练和评估视觉语言模型，以提高模型在理解和生成模糊量词方面的准确性。最后，VAQUUM数据集还可以用于研究人类在模糊量词使用方面的认知机制，以及模型与人类评价之间的差异。

背景与挑战

背景概述

在自然语言处理和视觉语言模型（VLMs）的研究领域中，模糊量词的使用和理解是一个重要的课题。模糊量词，如 'a few' 和 'many' 等，在日常交流中非常常见，但其使用受到多种语境因素的影响，包括给定环境中存在的对象数量。VAQUUM数据集的创建旨在评估VLMs在视觉环境下生成或判断模糊量词适当性的能力与人类的一致性。该数据集由乌德勒支大学的研究团队于2025年发布，包含20300个人对1089张图像中量化陈述的人类评分。通过VAQUUM，研究人员可以比较人类判断和VLM预测，并使用三种不同的评估方法来分析结果。研究发现，VLMs和人类一样，在模糊量词的使用中受到对象数量的影响。然而，在不同的评估环境中，模型之间存在显著的差异，这表明判断和生成模糊量词依赖于两个不同的过程。

当前挑战

VAQUUM数据集面临的挑战包括：1)解决领域问题的挑战：模糊量词的使用和理解受到多种语境因素的影响，包括对象数量、大小、场景信息以及说话者和听者的个人信念和态度等。这些因素使得模糊量词的使用和理解变得复杂，对VLMs提出了更高的要求。2)构建过程中的挑战：VAQUUM数据集的构建过程中，研究人员需要确保图像和量化陈述的质量，以及人类评分的准确性和可靠性。此外，由于模糊量词的模糊性，研究人员还需要考虑如何评估VLMs的生成和判断结果与人类的一致性。

常用场景

经典使用场景

VAQUUM数据集主要用于评估视觉和语言模型(VLMs)在视觉环境中产生或判断模糊量词的适用性时与人类的兼容程度。该数据集包含20300个人类对量化陈述的评分，跨越1089张图像。研究人员使用VAQUUM数据集比较了人类判断和VLM预测，并使用了三种不同的评估方法。结果表明，VLMs和人类一样，在模糊量词的使用上受到物体数量的影响。然而，在模型的不同评估设置中存在显著的差异，这表明判断和产生模糊量词依赖于两种不同的过程。

衍生相关工作

VAQUUM数据集衍生了关于VLMs在模糊量词理解和生成方面的多个相关研究。这些研究探讨了VLMs在处理模糊量词时的表现，并与其他研究进行了比较。VAQUUM数据集还促进了VLMs在自然语言处理(NLP)领域的应用，例如在视觉问答系统(VQA)、图像描述生成和自然语言理解(NLU)等方面。

数据集最近研究

最新研究方向

VAQUUM数据集的研究方向主要集中在模糊量词在视觉情境中的使用和判断上。该数据集旨在评估视觉语言模型(VLMs)在生成或判断模糊量词在视觉情境中的适当性方面与人类的兼容程度。研究结果表明，VLMs在模糊量词的使用上受到物体数量等因素的影响，但模型之间存在显著的不一致性。这一发现表明，判断和生成模糊量词可能依赖于两个不同的过程。未来研究可以进一步探讨VLMs在模糊量词使用方面的能力和局限性，以及如何改进模型以更好地模拟人类的语言理解和使用模式。

相关研究论文

• VAQUUM: Are Vague Quantifiers Grounded in Visual Data?

  乌德勒支大学 · 2025年