CIRCO

CIRCO是一个基于COCO 2017未标记集的真实世界图像的开域基准数据集，用于组合图像检索（CIR）。它是第一个具有多个真实值的CIR数据集，旨在解决现有数据集中假阴性的问题。CIRCO包含总共1020个查询，随机分为220个验证集和800个测试集，平均每个查询有4.53个真实值。我们使用mAP@K评估CIRCO的性能。CIRCO is an open-domain benchmark dataset based on the unlabeled set of COCO 2017, designed for compositional image retrieval (CIR). It is the first CIR dataset with multiple ground truths, aiming to address the issue of false negatives in existing datasets. CIRCO contains a total of 1020 queries, randomly divided into a validation set of 220 and a test set of 800, with an average of 4.53 ground truths per query. We evaluate the performance of CIRCO using mAP@K.

原始信息汇总

CIRCO Dataset 概述

CIRCO (Composed Image Retrieval on Common Objects in context) 是一个基于 COCO 2017 无标签数据集的开放领域基准数据集，专门用于组合图像检索（CIR）。该数据集包含1020个查询，随机分为220个验证集和800个测试集，平均每个查询有4.53个真实标签。CIRCO旨在解决现有数据集中假阴性的问题，并使用mAP@K进行性能评估。

数据集下载

注释

注释文件位于 annotations 文件夹中，每个分割的JSON文件包含相应的注释列表。每个注释包括以下字段：

• reference_img_id: 参考图像的ID
• target_img_id: 目标图像的ID
• relative_caption: 目标图像的相对描述
• shared_concept: 参考和目标图像之间的共享概念
• gt_img_ids: 真实标签图像的ID列表
• id: 查询的ID
• semantic_aspects: 描述查询的语义方面列表

图像

CIRCO基于COCO 2017无标签数据集的图像。用户需访问COCO网站下载图像及其相应的注释。

数据结构

下载后，数据结构应如下：

CIRCO └─── annotations | test.json | val.json └─── COCO2017_unlabeled └─── annotations | image_info_unlabeled2017.json └─── unlabeled2017 | 000000243611.jpg | 000000535009.jpg | 000000097553.jpg | ...

测试评估服务器

CIRCO测试集的真实标签不公开，而是通过评估服务器进行模型评估。服务器接受JSON格式的提交文件，其中键为查询ID，值为前50个检索到的图像列表。

引用

bibtex @misc{baldrati2023zeroshot, title={Zero-Shot Composed Image Retrieval with Textual Inversion}, author={Alberto Baldrati and Lorenzo Agnolucci and Marco Bertini and Alberto Del Bimbo}, year={2023}, eprint={2303.15247}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

数据集介绍

构建方式

CIRCO数据集的构建基于COCO 2017未标注数据集中的真实世界图像，旨在为组合图像检索（CIR）提供一个开放域的基准测试数据集。该数据集通过从COCO 2017未标注集中随机选取图像，并为其生成多个真实标签，以解决现有数据集中假负例的问题。CIRCO包含1020个查询，分为220个验证集和800个测试集，每个查询平均有4.53个真实标签。

使用方法

使用CIRCO数据集时，首先需要克隆GitHub仓库并下载COCO 2017未标注集的图像和注释。数据集的注释文件位于`annotations`文件夹中，每个文件包含查询的详细信息。为了评估模型在测试集上的性能，用户需要通过CIRCO的评估服务器提交预测结果，服务器将返回模型的mAP@K指标。此外，数据集还提供了一些实用脚本，如`dataset.py`和`evaluation.py`，以帮助用户加载数据集和评估模型。

背景与挑战

背景概述

CIRCO数据集（Composed Image Retrieval on Common Objects in context）是由意大利佛罗伦萨大学（University of Florence）的研究团队在2023年ICCV会议上发布的，旨在解决现有组合图像检索（CIR）数据集中存在的假负例问题。该数据集基于COCO 2017未标注集，包含1020个查询，分为220个验证集和800个测试集，平均每个查询有4.53个真实标签。CIRCO的提出不仅为组合图像检索领域提供了一个新的基准，还通过引入多重真实标签，显著提升了检索任务的准确性和鲁棒性。

当前挑战

CIRCO数据集的主要挑战在于其多重真实标签的设计，这要求模型能够更精确地理解图像与文本之间的复杂关系，避免假负例的出现。此外，数据集的构建过程中，研究人员需要从COCO 2017未标注集中筛选出合适的图像，并为其生成详细的注释，这一过程涉及大量的图像处理和语义分析工作。在评估方面，CIRCO通过独立的评估服务器进行测试集的评估，确保了结果的公正性和透明性，但也对模型的预测能力提出了更高的要求。

常用场景

经典使用场景

CIRCO数据集在零样本组合图像检索领域展现了其经典应用场景。该数据集通过提供多重真实标签，解决了现有数据集中假负例的问题，从而为研究者提供了一个更为精确的基准。其核心应用在于通过文本描述检索图像，尤其是在复杂场景中，如通过描述“一只泰迪熊被小女孩抱在椅子上”来检索相关图像。这种应用不仅提升了图像检索的准确性，还为多模态学习提供了丰富的数据支持。

解决学术问题

CIRCO数据集有效解决了组合图像检索中的假负例问题，这是现有数据集普遍面临的挑战。通过引入多重真实标签，CIRCO显著提高了检索任务的准确性和鲁棒性，为零样本学习提供了新的研究方向。此外，该数据集还通过语义分类提供了更细粒度的评估，有助于推动图像与文本多模态理解的研究进展，对计算机视觉领域的学术研究具有重要意义。

实际应用

CIRCO数据集在实际应用中展现了广泛的应用潜力。例如，在电子商务领域，用户可以通过描述商品的特定属性或场景来检索相关产品，从而提升购物体验。在智能安防系统中，CIRCO可以帮助通过描述特定场景或物体来快速检索相关监控图像，提高安全监控的效率。此外，在医疗影像分析中，CIRCO也可用于通过描述病灶特征来检索相关病例，辅助医生进行诊断。

数据集最近研究

最新研究方向

CIRCO数据集作为首个具有多重真实标签的组合图像检索（CIR）基准数据集，近期研究主要聚焦于提升零样本组合图像检索的性能。研究者们通过引入文本反转技术，进一步优化了模型在处理复杂语义关系和多义性问题时的表现。此外，随着2024年扩展版本的发布，研究方向逐渐向语义类别细分的评估方法倾斜，旨在更精确地衡量模型在不同语义层面的检索能力。这一进展不仅推动了CIR领域的技术前沿，也为实际应用中的图像检索系统提供了更为可靠的评估标准。