Cola

Cola数据集是由波士顿大学的研究团队开发的，用于评估大型视觉语言模型在组合对象定位与属性方面的能力。该数据集包含约1236个组合查询，涉及168个对象和197个属性，分布在约30K张图像上。创建过程中，模型必须从包含相同对象和属性但配置错误的干扰图像中检索出正确配置的图像。Cola数据集主要应用于测试和改进视觉语言模型在组合推理方面的性能，特别是在辅助代理等实际应用中，需要理解细粒度差异的场景。The Cola dataset was developed by a research team at Boston University to assess the compositional object localization and attribute comprehension capabilities of large vision-language models. This dataset includes approximately 1,236 compositional queries, covering 168 object categories and 197 attribute categories, spanning roughly 30,000 images. The dataset’s task framework requires models to retrieve correctly configured images from distractor images that share identical objects and attributes but feature misconfigured setups. The Cola dataset is primarily utilized to test and enhance the compositional reasoning performance of vision-language models, particularly in practical scenarios such as AI agent applications that demand fine-grained understanding of subtle differences.

搜集汇总

数据集介绍

构建方式

Cola数据集旨在评估视觉语言模型在属性-对象组合推理方面的能力。其构建基于GQA、CLEVR、PACO和Visual Genome四个公开数据集，从中提取了168种对象和197种属性，生成了约1236条组合查询。数据集包含单对象查询和多对象查询两种类型：单对象查询要求模型将多个属性正确绑定到同一对象上，例如“方形白色盘子”；多对象查询则涉及多个对象各自携带属性，并需在包含相同对象和属性但配置错误的干扰图像中选出正确匹配。所有多对象查询均经过人工筛选，确保标注准确率高达83.33%。

使用方法

Cola数据集的使用方法主要围绕文本到图像检索任务展开。模型需根据给定的文本查询，从包含正确图像和干扰图像的集合中检索出匹配图像。评估指标包括单对象查询的平均检索精度（mAP）和多对象查询的准确率。研究者可利用Cola作为测试平台，探索不同的微调策略以提升模型的组合推理能力。论文中对比了线性探测、提示调优、全模型微调及多模态适配等多种方法，其中多模态适配器（MM-Adapter）在冻结预训练编码器的基础上训练轻量级多模态注意力层，取得了最佳效果。

背景与挑战

背景概述

组合性推理是人类视觉智能的标志性特征，然而现有的大规模视觉-语言模型在将物体与属性正确绑定方面仍存在显著不足。为系统评估这一缺陷，由波士顿大学与Meta AI（FAIR）联合研究团队于2023年在NeurIPS会议上提出了Cola（Compose Objects Localized with Attributes）基准数据集。该数据集聚焦于组合性文本到图像检索任务，包含约1.2k个组合查询，涵盖168个物体类别与197个属性，基于约3万张图像构建。Cola的核心研究问题在于考察模型能否从包含相同物体与属性但配置错误的干扰图像中，准确检索出与查询匹配的正确图像。该基准的提出为衡量和推动视觉-语言模型的组合性推理能力提供了重要测试平台。

当前挑战

Cola数据集面临的挑战主要体现在两个方面：首先，在领域问题层面，现有模型难以处理属性-物体的正确绑定，常将属性错误地关联到干扰物体上，尤其在多物体查询中表现更为困难，文本到图像的检索任务比图像到文本更具挑战性。其次，在构建过程中，多物体查询需从Visual Genome数据集中筛选出属性与物体互换的干扰对，并经过众包人工清洗以确保标签质量，但颜色、空间关系等歧义性注释仍难以完全消除。此外，模型在非显著或遮挡物体上的表现提升有限，而对大面积常见属性（如蓝天）的改进空间较小，表明组合性推理仍有相当大的研究余地。

常用场景

经典使用场景

在视觉与语言交叉领域，组合性推理是衡量模型智能水平的核心维度之一。Cola数据集专为评估视觉-语言模型在属性与对象绑定上的组合能力而设计，其经典使用场景是文本到图像的组合检索任务。具体而言，模型需根据包含多个属性与对象的文本查询，从一组包含干扰项的图像中精准检索出属性与对象配置正确的图像。例如，面对查询“方形白色桌子”，模型不仅需识别出图像中存在“方形”、“白色”和“桌子”这些元素，还需确保这些属性正确附着于同一对象，而非错误地关联到干扰图像中的其他对象。该场景聚焦于单对象与多对象两种组合类型，尤其强调在多对象情境下，模型需避免因属性与对象的错配而导致的检索失败。

解决学术问题

Cola数据集解决了当前大规模视觉-语言模型在组合性推理方面的一个关键学术难题：即模型虽能识别图像中的对象与属性，却难以正确地将属性绑定到指定对象上，尤其在存在相似干扰项时表现尤为薄弱。该基准通过构造包含正确与错误配置的成对图像与查询，系统性地揭示模型在属性-对象绑定上的盲区。其研究意义在于，它推动了学界从粗粒度图像-文本匹配转向细粒度组合性理解的范式转变，促使研究者重新审视预训练模型的表征能力。Cola的引入为评估和比较不同微调策略提供了标准化测试平台，并揭示了即便如CLIP和FLAVA等先进模型，在简单组合任务上仍与人类水平存在显著差距，从而明确了未来研究的方向。

实际应用

在实际应用中，Cola数据集所测试的组合性推理能力具有广泛的落地价值。例如，在智能家居或工业场景中，一个具身智能体若被指令清理“位于大深色椅子右侧的小木桌”，它必须能准确区分具有相似属性但配置不同的物体，避免误操作。同样，在电商平台的视觉搜索中，用户输入“红色橡胶手柄的金属扳手”时，系统需从大量包含类似属性但配置混乱的商品图像中精准定位目标。此外，该能力还可赋能辅助机器人、自动驾驶中的场景理解以及人机交互中的自然语言指令执行，使机器不仅能识别物体，更能理解属性与对象之间的复杂组合关系，从而提升在杂乱环境中的鲁棒性和任务执行精度。

数据集最近研究

最新研究方向

在视觉-语言模型领域，组合推理能力一直是衡量模型智能水平的关键标尺。Cola基准数据集聚焦于属性-对象绑定这一基础却极具挑战性的组合推理任务，其核心在于要求模型在文本到图像的检索中，能够精准区分具有相同对象和属性但配置错误的干扰图像。当前的前沿研究方向主要围绕如何通过轻量级的多模态适配策略，在冻结预训练编码器的基础上引入跨模态注意力机制，以强化模型对属性与对象正确关联的感知能力。这一方向与近年来大模型在细粒度视觉理解上的瓶颈紧密相关，揭示了即便规模庞大的模型在处理如“白色圆桌”这类简单组合时仍会混淆属性归属。Cola的提出不仅为评估组合推理提供了更严苛的测试床，其揭示的预训练表示与组合能力之间的鸿沟，也推动了领域内从全量微调向参数高效适配方法的范式转变，对推动具身智能、辅助系统等实际应用具有深远意义。

相关研究论文

• COLA: A Benchmark for Compositional Text-to-image Retrieval

  波士顿大学 · 2023年