ILIAS (Instance-Level Image retrieval At Scale)

ILIAS是一个用于实例级图像检索的大规模数据集，由捷克技术大学布拉格的电气工程学院创建。该数据集包含1000个对象实例的查询和正样本图像，这些图像是在具有挑战性的条件和多样化领域中手动收集的。为了在不额外注释工作的情况下避免假阴性，数据集仅包含在2014年之后出现的查询对象。ILIAS旨在支持未来的图像到图像和文本到图像检索研究，并作为评估基础视觉和语言模型表示的大规模基准。ILIAS is a large-scale dataset for instance-level image retrieval, created by the Faculty of Electrical Engineering, Czech Technical University in Prague. This dataset contains query and positive sample images for 1000 object instances, which were manually collected under challenging conditions and across diverse domains. To avoid false negatives without additional annotation work, the dataset only includes query objects that emerged after 2014. ILIAS aims to support future research on image-to-image and text-to-image retrieval, and serve as a large-scale benchmark for evaluating representations of foundational vision and language models.

搜集汇总

数据集介绍

构建方式

ILIAS数据集的构建旨在解决现有数据集在规模、领域多样性、准确的地标真相和性能饱和度方面的不足。该数据集包含1000个对象实例的查询和正面图像，这些图像是手动收集的，以捕捉具有挑战性的条件和多样化的领域。为了扩展数据集规模，同时避免地标的真相错误或额外的标注工作，ILIAS采用了关键技术：从YFCC100M中收集的2014年的干扰图像与2014年后出现并得到验证的查询对象相结合。这些干扰图像包括1000万张图像，比现有最大数据集大两个数量级。ILIAS包含图像和文本查询，后者是对对象及其独特特征的详细描述。

特点

ILIAS数据集的特点包括大规模、领域多样性、准确的地标真相和未饱和的性能。它包括1000个对象实例的查询和正面图像，这些图像是在具有挑战性的条件和多样化的领域中手动收集的。此外，ILIAS还包含来自YFCC100M的1亿张干扰图像，这些图像作为查询对象的背景噪声。ILIAS数据集还包括图像和文本查询，后者是对对象及其独特特征的详细描述。

使用方法

使用ILIAS数据集的方法包括以下步骤：1. 准备查询图像或文本：从数据集中选择要搜索的查询图像或文本描述。2. 特征提取：使用图像编码器或文本编码器从查询中提取全局描述符。3. 检索：使用余弦相似度对数据库图像进行排序，以找到与查询最相似的图像。4. 评估：使用平均平均精度(mAP)评估检索性能。5. 可视化：使用ILIAS数据集中的图像和文本查询，可以可视化检索结果并分析模型的性能。

背景与挑战

背景概述

图像检索是计算机视觉领域的一项重要任务，其目的是在大规模图像集合中找到与给定查询图像匹配的对象实例。ILIAS数据集的创建旨在评估基础模型和检索技术在识别特定对象实例方面的能力。该数据集由Giorgos Kordopatis-Zilos等人于2025年设计，并由VRG, FEE, Czech Technical University in Prague的研究团队开发。ILIAS数据集的主要特点是大规模、领域多样性、精确的基线数据和未饱和的性能。该数据集包括1000个对象实例的查询和正图像，这些图像是手动收集的，以捕捉具有挑战性的条件和多样化的领域。此外，ILIAS还包括来自YFCC100M的1亿个干扰图像，用于大规模检索。ILIAS数据集的创建填补了现有数据集在规模、领域多样性和基线准确性方面的不足，并为评估基础视觉和语言模型(VLM)的表示提供了大规模基准。

当前挑战

ILIAS数据集在解决领域问题方面面临着几个挑战。首先，图像检索任务本身就具有挑战性，因为正例之间存在很大的差异，例如光照/视角变化和背景杂乱。其次，由于类定义的极其细粒度，负例之间的相似度很高。在真实世界规模的场景中，搜索数百万甚至数十亿图像需要处理具有无数未见对象的开世界设置，这增加了检索的难度。此外，ILIAS数据集的构建过程中也遇到了一些挑战。为了确保不包含错误否定，数据集仅包括2014年之后出现并经过验证的对象。这需要大量的人工收集和验证工作。此外，为了扩大数据集规模，同时避免基线错误或额外的标注工作，研究人员使用了关键技术：干扰图像。这些干扰图像是从2014年的YFCC100M中收集的，并与其他经过验证的对象结合使用。这种方法的挑战在于如何确保干扰图像与查询对象之间的相关性，以及如何有效地处理如此庞大的数据集。

常用场景

经典使用场景

ILIAS数据集被设计用于评估当前和未来基础模型和检索技术在识别特定对象方面的能力。其最经典的使用场景是进行大规模的实例级图像检索，即在大量图像集合中搜索特定对象图像。此外，ILIAS数据集还支持图像到图像和文本到图像的检索，以及使用全局和局部表示的检索方法。这些功能使得ILIAS数据集成为研究图像检索和视觉语言模型的重要工具。

实际应用

ILIAS数据集的实际应用场景包括但不限于机器人、电子商务和文化遗产等领域。在机器人领域，ILIAS数据集可以用于训练机器人识别和检索特定对象的能力。在电子商务领域，ILIAS数据集可以用于提高商品图像检索的准确性和效率。在文化遗产领域，ILIAS数据集可以用于帮助研究人员识别和保护文化遗产对象。这些应用场景展示了ILIAS数据集在现实世界中的实用价值。

衍生相关工作

ILIAS数据集的发布衍生了许多相关的研究工作。例如，研究人员使用ILIAS数据集评估了不同模型的性能，并提出了改进模型的方法。此外，ILIAS数据集还被用于研究图像检索中的局部表示和全局表示的重要性。这些研究工作推动了图像检索技术的发展，并为ILIAS数据集的未来应用提供了新的思路。