CROCO, CROCO-D

CROCO和CROCO-D是基于MS COCO数据集生成的，专门为关系推理任务设计的数据集。CROCO数据集侧重于静态关系，而CROCO-D则考虑了关系的方向性。这两个数据集通过简化COCO数据集中的注释，将它们转化为主语-关系-宾语三元组，从而提供对模型进行精确的语言监督。

CROCO and CROCO-D are two datasets specifically designed for relational reasoning tasks, generated based on the MS COCO dataset. The CROCO dataset focuses on static relationships, while CROCO-D takes into account the directionality of relationships. Both datasets simplify the annotations in the COCO dataset and convert them into subject-relation-object triples, thereby providing precise linguistic supervision for models.

搜集汇总

数据集介绍

构建方式

CROCO和CROCO-D数据集的构建基于MS COCO数据集，通过动态关系推理方法（DRIVE）生成。首先，研究者对COCO数据集中的图像和文本进行了筛选，确保每张图像包含不超过三个主要对象，并且文本描述能够简化为“主语-关系-宾语”三元组。接着，利用大语言模型（如GPT-4）对文本进行简化，提取出核心的关系信息，并通过SpaCy工具验证三元组的有效性。为了增强模型对关系的理解，研究者引入了硬负样本（Hard Negatives），即保持主语和宾语不变，仅改变关系词，生成对比样本。CROCO-D在此基础上进一步引入了方向性关系，使得模型能够学习到关系的不对称性。

特点

CROCO和CROCO-D数据集的特点在于其专注于图像中对象之间的关系推理。CROCO数据集通过简化文本描述，强调关系的变化，使得模型能够专注于关系的区分。CROCO-D则进一步引入了方向性关系，增强了模型对不对称关系的理解能力。此外，数据集通过硬负样本的引入，提供了更具挑战性的训练样本，帮助模型更好地捕捉关系中的细微差别。数据集的构建还区分了静态关系（如“靠近”）和动态关系（如“吃”），使得模型能够更好地处理不同类型的动词关系。

使用方法

CROCO和CROCO-D数据集主要用于训练和评估视觉-语言模型在关系推理任务中的表现。研究者通过对比学习的方式，利用硬负样本对模型进行微调，使其能够更好地捕捉图像中对象之间的关系。具体而言，模型在训练过程中会同时处理图像和文本的嵌入表示，并通过对比损失函数来区分不同的关系。CROCO-D数据集还特别适用于评估模型对方向性关系的理解能力。通过在这些数据集上的训练，模型能够在零样本关系推理任务中表现出色，并且在未见过的数据上具有良好的泛化能力。

背景与挑战

背景概述

CROCO和CROCO-D数据集由布朗大学的研究团队于2024年提出，旨在解决视觉-语言预训练模型（如CLIP）在图像中对象关系推理方面的局限性。尽管CLIP在图像与文本匹配任务中表现出色，但其在处理对象间关系推理时表现欠佳。为此，研究团队提出了基于动词嵌入的动态关系推理方法（DRIVE），并通过引入CROCO和CROCO-D数据集，进一步优化了CLIP模型的关系推理能力。CROCO数据集基于MS COCO数据集构建，专注于对象间的关系推理，而CROCO-D则进一步引入了方向性关系，以增强模型对非对称关系的理解。该研究为视觉-语言模型的关系推理任务提供了新的基准和工具，推动了多模态学习领域的发展。

当前挑战

CROCO和CROCO-D数据集在构建和应用中面临多重挑战。首先，关系推理任务本身具有复杂性，尤其是在处理静态动词和动态动词时，模型需要区分不同的语义关系。静态动词（如“靠近”）通常依赖于上下文和视角，容易引入歧义，而动态动词（如“吃”）则更具明确性。其次，数据集的构建过程中，研究团队需要通过语言监督生成高质量的硬负样本（hard negatives），以确保模型能够准确区分相似但不同的关系。此外，CROCO-D数据集还需要处理方向性关系的非对称性，这对模型的推理能力提出了更高要求。最后，尽管CROCO和CROCO-D在关系推理任务中表现出色，但其对语言监督的依赖可能导致模型在处理视觉和文本模糊性时表现不佳，限制了其在复杂场景中的应用。

常用场景

经典使用场景

CROCO和CROCO-D数据集在视觉-语言预训练（VLP）模型中，尤其是CLIP模型的改进中发挥了重要作用。这些数据集通过引入动态关系推理任务，帮助模型更好地理解图像中对象之间的关系。经典的使用场景包括在零样本关系推理任务中，模型通过对比学习任务从图像和文本嵌入中捕捉对象之间的关系，从而提升模型在复杂场景下的表现。

衍生相关工作

CROCO和CROCO-D数据集的推出催生了一系列相关研究工作，尤其是在视觉-语言模型的改进方面。基于这些数据集，研究者提出了DriveCLIP模型，通过引入新的损失函数和硬负样本策略，显著提升了模型在关系推理任务中的表现。此外，这些数据集还推动了其他模型在零样本关系推理和视觉关系检测任务中的创新，如CE-CLIP和EVA-02等模型的改进。

数据集最近研究

最新研究方向

在视觉-语言预训练模型（VLP）领域，CROCO和CROCO-D数据集的引入为关系推理任务提供了新的研究方向。通过动态关系推理（DRIVE）方法，研究者们提出了一种基于动词嵌入的关系推理模型，显著提升了CLIP模型在零样本关系推理任务中的表现。CROCO数据集通过简化COCO数据集的描述，生成主语-关系-宾语三元组，专注于关系推理的细粒度控制。CROCO-D则进一步引入了关系方向性，增强了模型对非对称关系的理解。这些数据集不仅为关系推理任务提供了新的基准，还通过引入新的损失函数（如硬负样本损失）优化了模型的训练过程。这一研究方向的突破不仅推动了视觉-语言模型在关系推理任务中的性能提升，还为未来的多模态研究提供了重要的理论支持和实践指导。

相关研究论文

• Dynamic Relation Inference via Verb Embeddings

  布朗大学 · 2025年