Vector Index Benchmark for Embeddings (VIBE)

VIBE是一个开源项目，旨在为近似最近邻搜索算法提供一个基准测试平台。它包含了使用现代密集嵌入模型创建基准数据集的流程，例如检索增强生成(RAG)。此外，VIBE还包含了来自不同分布的查询和语料库的分布外(OOD)数据集，以模拟真实世界的工作负载。VIBE对最先进的向量索引进行了全面的评估，在12个分布内和6个分布外数据集上对21种实现进行了基准测试。VIBE is an open-source project designed to provide a benchmarking platform for approximate nearest neighbor search algorithms. It includes the workflow for constructing benchmark datasets using modern dense embedding models, such as Retrieval-Augmented Generation (RAG). Furthermore, VIBE contains out-of-distribution (OOD) datasets composed of queries and corpora from varied distributions to simulate real-world workloads. VIBE conducts comprehensive evaluations of state-of-the-art vector indexes, benchmarking 21 implementations across 12 in-distribution and 6 out-of-distribution datasets.

搜集汇总

数据集介绍

构建方式

在近似最近邻搜索（ANN）领域，现有基准数据集已无法充分代表当前应用场景的需求。为此，VIBE数据集通过构建现代密集嵌入模型生成的基准数据集，填补了这一空白。具体而言，该数据集采用开源流程，利用如ArXiv和ImageNet等数据源，通过流行的嵌入模型生成代表性嵌入数据集。同时，为模拟真实工作负载，VIBE还引入了查询与语料库分布不同的离群分布（OOD）数据集，包括多模态搜索和近似注意力计算等新兴应用场景。

特点

VIBE数据集的特点在于其全面性和现代性。首先，数据集覆盖了12个分布内数据集和6个离群分布数据集，涵盖了文本、图像和代码等多种数据类型。其次，数据集采用最新的嵌入模型（如CLIP、DINOv2等）生成高维向量，确保了数据的代表性和前沿性。此外，VIBE还提供了细粒度的性能指标，如对简单/困难查询的性能分析，以及对分布内/离群分布查询的详细评估，为研究提供了丰富的数据支持。

使用方法

VIBE数据集的使用方法灵活且开放。研究者可以通过其开源代码库轻松集成新的ANN算法，并利用提供的流程生成自定义基准数据集。数据集支持多种硬件平台，包括高性能计算（HPC）和GPU加速，适用于不同规模的实验需求。此外，VIBE配套的交互式网站允许用户深入分析结果，例如通过可视化工具比较不同算法在特定召回率下的性能表现。用户还可以通过网站探索算法的鲁棒性，查看其在简单和困难查询上的性能差异。

背景与挑战

背景概述

Vector Index Benchmark for Embeddings (VIBE) 是由赫尔辛基大学、阿尔托大学、帕多瓦大学和哥本哈根IT大学的研究团队于2025年推出的开源基准测试套件，旨在解决近似最近邻搜索（ANN）领域的关键挑战。随着机器学习应用中嵌入模型的普及，传统基准测试数据集（如MNIST、Fashion-MNIST和SIFT）已无法代表现代应用场景，特别是在检索增强生成（RAG）和多模态搜索等新兴领域。VIBE通过提供包含现代嵌入模型生成的标准化数据集，填补了这一空白，并支持对分布外（OOD）查询的系统评估。该数据集的核心研究问题是提升ANN算法在高维嵌入空间中的性能评估的准确性和代表性，对推荐系统、信息检索和问答系统等领域具有重要影响。

当前挑战

VIBE数据集面临的挑战主要体现在两个方面：领域问题的复杂性和构建过程中的技术难题。在领域问题方面，现代ANN搜索需应对高维嵌入空间的语义相似性计算、多模态数据的异构分布对齐，以及实时性要求下的精度与效率平衡等核心挑战。构建过程中的挑战包括：1) 数据集的动态更新需求，需持续集成新兴嵌入模型（如CLIP、DINOv2）以保持前沿性；2) OOD场景的模拟难度，要求精确控制查询与语料库的分布差异；3) 评估指标的精细化设计，需开发超越平均召回率的细粒度性能度量（如难易查询分析）。此外，硬件兼容性（如GPU加速）和量化处理（如8位整型嵌入）的实现也增加了技术复杂性。

常用场景

经典使用场景

在机器学习应用中，近似最近邻（ANN）搜索是许多性能关键组件的核心部分。VIBE数据集通过提供现代嵌入模型生成的代表性嵌入数据集，为评估ANN搜索算法的性能提供了基准。其经典使用场景包括检索增强生成（RAG）、多模态搜索和近似注意力计算等现代应用。

衍生相关工作

VIBE数据集衍生了许多相关经典工作，包括基于图的ANN方法（如SymphonyQG和Glass）、基于聚类的方法（如LoRANN和ScaNN）以及专门针对分布外查询的算法（如RoarGraph和MLANN）。这些工作通过VIBE提供的基准数据集和评估框架，进一步优化了ANN算法的性能和鲁棒性，推动了该领域的技术进步。

数据集最近研究

最新研究方向

随着人工智能技术的快速发展，近似最近邻搜索（ANN）作为机器学习流程中的关键组件，其性能评估显得尤为重要。Vector Index Benchmark for Embeddings (VIBE) 数据集的推出，填补了现有基准测试在代表性和覆盖范围上的不足。VIBE 不仅包含了现代应用中常见的密集嵌入模型生成的基准数据集，还引入了分布外（OOD）数据集，以模拟真实世界中的多模态搜索和近似注意力计算等复杂场景。该数据集的最新研究方向集中在以下几个方面：首先，通过引入最新的嵌入模型（如CLIP、DINOv2等）生成更具代表性的数据集，以反映当前应用的需求；其次，系统评估了21种先进的向量索引算法在12个分布内和6个分布外数据集上的性能，为算法选择和优化提供了重要参考；此外，VIBE 还支持二进制数据集和GPU算法，进一步提升了搜索效率。这些研究不仅推动了ANN算法的发展，也为检索增强生成（RAG）和多模态搜索等前沿应用提供了有力支持。

相关研究论文

• VIBE: Vector Index Benchmark for Embeddings

  赫尔辛基大学, 阿尔托大学, 帕多瓦大学, 哥本哈根信息技术大学 · 2025年