TREC-AToMiC/AToMiC-Baselines

# AToMiC Prebuilt Indexes ## Example Usage: ### Reproduction Toolkits: https://github.com/TREC-AToMiC/AToMiC/tree/main/examples/dense_retriever_baselines ```bash # Skip the encode and index steps, search with the prebuilt indexes and topics directly python search.py \ --topics topics/openai.clip-vit-base-patch32.text.validation \ --index indexes/openai.clip-vit-base-patch32.image.faiss.flat \ --hits 1000 \ --output runs/run.openai.clip-vit-base-patch32.validation.t2i.large.trec python search.py \ --topics topics/openai.clip-vit-base-patch32.image.validation \ --index indexes/openai.clip-vit-base-patch32.text.faiss.flat \ --hits 1000 \ --output runs/run.openai.clip-vit-base-patch32.validation.i2t.large.trec ``` ### Explore AToMiC datasets ```python import torch from pathlib import Path from datasets import load_dataset from transformers import AutoModel, AutoProcessor INDEX_DIR='indexes' INDEX_NAME='openai.clip-vit-base-patch32.image.faiss.flat' QUERY = 'Elizabeth II' images = load_dataset('TREC-AToMiC/AToMiC-Images-v0.2', split='train') images.load_faiss_index(index_name=INDEX_NAME, file=Path(INDEX_DIR, INDEX_NAME, 'index')) model = AutoModel.from_pretrained('openai/clip-vit-base-patch32') processor = AutoProcessor.from_pretrained('openai/clip-vit-base-patch32') # prebuilt indexes contain L2-normalized vectors with torch.no_grad(): q_embedding = model.get_text_features(**processor(text=query, return_tensors="pt")) q_embedding = torch.nn.functional.normalize(q_embedding, dim=-1).detach().numpy() scores, retrieved = images.get_nearest_examples(index_name, q_embedding, k=10) ```# AToMiC 预构建索引 ## 示例用法: ### 复现 工具包: https://github.com/TREC-AToMiC/AToMiC/tree/main/examples/dense_retriever_baselines bash # 跳过编码与索引构建步骤，直接使用预构建索引与主题集执行检索 python search.py --topics topics/openai.clip-vit-base-patch32.text.validation --index indexes/openai.clip-vit-base-patch32.image.faiss.flat --hits 1000 --output runs/run.openai.clip-vit-base-patch32.validation.t2i.large.trec python search.py --topics topics/openai.clip-vit-base-patch32.image.validation --index indexes/openai.clip-vit-base-patch32.text.faiss.flat --hits 1000 --output runs/run.openai.clip-vit-base-patch32.validation.i2t.large.trec ### 探索AToMiC数据集 python import torch from pathlib import Path from datasets import load_dataset from transformers import AutoModel, AutoProcessor INDEX_DIR='indexes' INDEX_NAME='openai.clip-vit-base-patch32.image.faiss.flat' QUERY = 'Elizabeth II' images = load_dataset('TREC-AToMiC/AToMiC-Images-v0.2', split='train') images.load_faiss_index(index_name=INDEX_NAME, file=Path(INDEX_DIR, INDEX_NAME, 'index')) model = AutoModel.from_pretrained('openai/clip-vit-base-patch32') processor = AutoProcessor.from_pretrained('openai/clip-vit-base-patch32') # 预构建索引存储经L2归一化的向量 with torch.no_grad(): q_embedding = model.get_text_features(**processor(text=QUERY, return_tensors="pt")) q_embedding = torch.nn.functional.normalize(q_embedding, dim=-1).detach().numpy() scores, retrieved = images.get_nearest_examples(index_name, q_embedding, k=10)

原始信息汇总

AToMiC 预构建索引

示例用法

复现

bash

跳过编码和索引步骤，直接使用预构建索引和主题进行搜索

python search.py --topics topics/openai.clip-vit-base-patch32.text.validation --index indexes/openai.clip-vit-base-patch32.image.faiss.flat --hits 1000 --output runs/run.openai.clip-vit-base-patch32.validation.t2i.large.trec

python search.py --topics topics/openai.clip-vit-base-patch32.image.validation --index indexes/openai.clip-vit-base-patch32.text.faiss.flat --hits 1000 --output runs/run.openai.clip-vit-base-patch32.validation.i2t.large.trec

探索 AToMiC 数据集

python import torch from pathlib import Path from datasets import load_dataset from transformers import AutoModel, AutoProcessor

INDEX_DIR=indexes INDEX_NAME=openai.clip-vit-base-patch32.image.faiss.flat QUERY = Elizabeth II

images = load_dataset(TREC-AToMiC/AToMiC-Images-v0.2, split=train) images.load_faiss_index(index_name=INDEX_NAME, file=Path(INDEX_DIR, INDEX_NAME, index))

model = AutoModel.from_pretrained(openai/clip-vit-base-patch32) processor = AutoProcessor.from_pretrained(openai/clip-vit-base-patch32)

预构建索引包含 L2 归一化向量

with torch.no_grad(): q_embedding = model.get_text_features(**processor(text=query, return_tensors="pt")) q_embedding = torch.nn.functional.normalize(q_embedding, dim=-1).detach().numpy()

scores, retrieved = images.get_nearest_examples(index_name, q_embedding, k=10)

搜集汇总

数据集介绍

构建方式

在信息检索与多模态学习的交叉领域中，AToMiC-Baselines数据集为研究人员提供了预构建的稠密检索索引。该数据集基于CLIP模型对图像与文本进行向量化表示，通过FAISS库构建了高效的近邻搜索索引。具体而言，索引构建采用了openai/clip-vit-base-patch32模型，分别对图像和文本特征进行L2归一化处理，并存储为Flat索引格式，确保检索过程中的精确性与可复现性。这一设计使得研究者无需重复进行编码与索引构建步骤，可直接利用预构建索引进行大规模检索实验。

特点

该数据集的核心特点在于其预构建索引的便捷性与标准化。它提供了图像到文本与文本到图像两种检索方向的索引文件，分别对应validation和test等不同划分。索引采用FAISS Flat格式，支持高精度的最近邻搜索，同时包含L2归一化的向量，保证了度量一致性。此外，数据集与Hugging Face Datasets库无缝集成，通过load_faiss_index方法即可快速加载，极大降低了多模态检索研究的入门门槛。其设计兼顾了学术复现与工业应用的需求，适用于基准测试与模型对比。

使用方法

使用该数据集时，研究者可通过Python脚本直接调用预构建索引进行检索。首先利用Hugging Face Datasets加载AToMiC-Images-v0.2数据集，并通过load_faiss_index方法加载指定索引文件。随后使用CLIP模型对查询文本或图像进行编码，经L2归一化后得到查询向量。最后调用get_nearest_examples方法，以指定索引名称和查询向量进行近邻搜索，返回最相似的k个样本。此外，数据集还提供了命令行工具，允许用户通过search.py脚本直接对预定义主题文件进行批量检索，输出TREC格式的运行结果，便于参与标准评测任务。

背景与挑战

背景概述

在信息检索与多模态理解交叉领域中，跨模态检索一直是一项核心挑战，旨在弥合视觉与文本语义鸿沟。TREC-AToMiC/AToMiC-Baselines数据集由TREC（文本检索会议）框架下的AToMiC项目团队创建，于2023年发布，主要研究机构包括滑铁卢大学等国际知名学术团体。该数据集聚焦于大规模图文双向检索任务，核心研究问题在于如何构建高效且可复现的稠密检索基线，以推动图像到文本与文本到图像的双向匹配能力。其影响力体现在为领域提供了标准化预构建索引与评估工具，显著降低了研究者复现与对比的门槛，成为多模态检索基准的重要组成部分。

当前挑战

当前数据集面临的核心挑战涵盖两大层面。在领域问题层面，跨模态检索需应对语义不对齐与模态差异带来的匹配困难，例如CLIP模型虽能生成统一嵌入空间，但细粒度语义捕捉仍显不足，导致检索结果在复杂场景下出现偏差。在构建过程中，挑战集中于索引规模与效率的平衡：预构建的FAISS平面索引虽能保证全量搜索精度，但面对海量图像与文本数据时，内存占用与检索延迟显著增加，亟需探索量化或近似最近邻搜索等优化策略。此外，不同CLIP变体间的嵌入分布差异也增加了索引泛化的难度，限制了基线在不同模型架构间的直接迁移性。

常用场景

经典使用场景

TREC-AToMiC/AToMiC-Baselines 数据集预构建索引为跨模态检索研究提供了即插即用的基准平台。在信息检索领域，该数据集最经典的使用场景是评估文本到图像与图像到文本的双向检索性能，研究人员可直接调用预编码的CLIP特征索引和标准化查询主题，快速复现稠密检索基线实验，从而专注于算法创新而非重复编码与索引构建。

衍生相关工作

该数据集衍生了多项里程碑式工作，包括基于CLIP的稠密检索基线系统、跨模态哈希学习框架以及多层级语义对齐模型。这些工作不仅验证了预构建索引在降低计算开销方面的优势，还催生了包括AToMiC挑战赛在内的系列评测任务，进一步推动了视觉语言导航、零样本检索等前沿方向的发展。

数据集最近研究

最新研究方向

在跨模态检索领域，AToMiC数据集正成为推动视觉与语言模型对齐研究的关键基准。其预构建的FAISS索引结合CLIP等双编码器架构，使得大规模图文双向检索任务得以高效复现。当前前沿方向聚焦于利用该数据集验证密集检索器在开放域新闻事件（如伊丽莎白二世相关报道）中的零样本迁移能力，以及探索多模态嵌入的细粒度对齐策略。该数据集通过提供标准化索引与评估脚本，显著降低了检索实验的复现门槛，为对比学习、负样本挖掘等热点技术提供了可控的测试平台，其影响力已延伸至多模态问答与视觉定位等下游任务，成为评估跨模态语义理解进展的枢纽性资源。