VIBE (Visual In-Context BEnchmark)

VIBE是一个统一的视觉上下文学习基准，由卡尔斯鲁厄理工学院创建，旨在评估模型在新图像域和任务分布下的自适应能力。该数据集包含14个子数据集，覆盖6个成像领域（如医学影像、水下环境、艺术摄影等）和12种视觉任务（包括分割、去噪、几何变换等），共计106个任务-数据集组合，数据来源于多样化的真实世界图像集合。数据集的构建通过确定性的上下文采样和统一的任务编码实现，将不同任务统一表示为图像到图像的转换问题。该基准主要应用于视觉上下文学习领域，旨在解决现有模型在跨域和跨任务泛化能力评估不足的问题，推动数据高效自适应视觉模型的发展。

VIBE is a unified visual contextual learning benchmark created by Karlsruhe Institute of Technology, designed to evaluate the adaptive capabilities of models across novel image domains and task distributions. This benchmark includes 14 sub-datasets, covering 6 imaging domains (e.g., medical imaging, underwater environments, artistic photography, etc.) and 12 visual tasks (including segmentation, denoising, geometric transformations, etc.), totaling 106 task-dataset pairs. The data is sourced from diverse real-world image collections. The benchmark is constructed via deterministic contextual sampling and unified task encoding, which unifies various visual tasks into the image-to-image translation framework. Primarily utilized in the field of visual contextual learning, this benchmark aims to address the insufficient evaluation of cross-domain and cross-task generalization capabilities of existing models, and advance the development of data-efficient adaptive visual models.

搜集汇总

数据集介绍

构建方式

VIBE（视觉上下文学习基准）的构建旨在填补现有视觉上下文学习评估中任务与领域单一化的空白。该基准整合了来自六个不同成像领域的十四个公开数据集，涵盖感知与定位、修复与增强、操纵与变换三大任务类别，共十二种视觉任务。为确保评估的统一性与可复现性，作者设计了一套标准化的评测协议：对每个查询图像，采用确定性策略选取单组上下文示例（包含输入与输出图像），并将所有任务（如分割、深度估计、关键点检测等）统一编码为RGB图像格式，从而以图像到图像变换的接口输入模型。通过预计算上下文样本列表并存储为CSV文件，VIBE确保了评测流程的可复现性，并支持未来向少样本设定的扩展。

特点

VIBE数据集的核心特点在于其前所未有的领域与任务多样性，以及严谨的评估设计。基准覆盖了医学与生物成像、水下与水生环境、室内与结构场景、艺术与摄影、物体与人类中心场景、野生动物与动物中心影像六个差异显著的成像领域，全面检验模型在域外图像上的泛化能力。通过14个数据集与12个任务的交叉组合，共构建了106对任务-数据集评估实例。此外，VIBE引入了分组评估机制，将任务按预测目标分为三大类别，从而系统性地分析模型在不同推理能力（如空间理解、信号恢复、系统性变换）上的表现。该基准还特别强调了对模型是否真正实现上下文适应而非依赖预训练偏好的诊断性评测。

使用方法

使用VIBE基准时，研究者需通过两个阶段完成评估。首先，运行离线数据准备阶段，该阶段自动下载并预处理所有数据集，将其转换为统一文件结构，并基于确定性策略为每个查询图像预计算上下文样本列表，存储为CSV文件。随后，进入在线推理与评估阶段：研究者需指定目标模型及输入输出路径，加载预计算的提示列表，模型接收格式化后的上下文图像与查询图像进行单样本预测。生成的预测结果将经过任务特定的解码与后处理（如将颜色编码的分割图还原为类别索引），并利用任务相关指标（如mIoU、PSNR、F1分数等）自动计算性能得分，结果记录于CSV文件中。该工具包设计上易于扩展新数据集、新任务与新模型。

背景与挑战

背景概述

视觉上下文学习（Visual In-Context Learning, VICL）作为实现数据高效自适应视觉模型的新范式，近年来受到广泛关注。然而，现有评估多局限于与预训练相似的窄域设定，难以洞察模型真实的自适应能力。为填补这一空白，来自卡尔斯鲁厄理工学院的研究团队于2026年构建了视觉上下文基准（VIBE），旨在系统评估VICL模型在多领域、多任务下的泛化性能。该基准涵盖6个成像领域（医学、水下、室内、艺术、人物及野生动物）、12项视觉任务及14个数据集，共含106种任务-数据组合，并配套统一、可复现的评估协议。VIBE的提出显著推动了VICL领域从片面验证走向全面诊断，为揭示模型局限性、系统故障模式及未来研究方向提供了关键支撑。

当前挑战

当前VICL面临的核心挑战集中在三方面。首先，多数模型实为多任务模型而非真正的上下文学习者，其预测严重偏向预训练任务，无法根据新上下文实现灵活推理，如Painter在NYU-Depth V2上一直输出灰度深度图，忽视了上下文映射规则。其次，构建基准时需克服任务编码统一化与后处理标准化难题，例如将分割、深度、关键点等异构标注转化为统一的RGB编码，并设计相应的解码与评估流程，同时需在106种组合下保证上下文采样确定性、减少计算开销。此外，VICL任务本质上是病态的，同一查询在不同上下文下可能有多个合理答案，而现有指标难以忠实反映自适应能力，亟需开发上下文敏感的评估体系。

常用场景

经典使用场景

VIBE数据集的核心应用场景在于对视觉上下文学习模型的泛化能力进行系统性压力测试。其最为经典的使用方式是在一次性（one-shot）设定下，为模型提供一对上下文图像以定义任务，再要求模型对查询图像执行相应的变换。基于涵盖感知与定位、恢复与增强、操纵与变换三大任务群的12种视觉任务，以及横跨医学、水下、室内、艺术、物体与野生动物等6个迥异成像领域的14个数据集，该基准可用于全面评估模型在面对全新图像分布与任务类型时的适应性。

解决学术问题

该数据集有效回应了视觉上下文学习领域的一个关键疑难：现有评估往往局限于与预训练数据高度重叠的场景，从而掩盖了模型是否真正具备任务适应能力。VIBE通过构建多样化的域外测试用例，揭示了多数模型实质上是多任务模型而非上下文学习器，其预测过度依赖预训练阶段见过的任务，仅根据上下文进行任务切换而非学习对应关系。这一发现为深入理解视觉上下文学习的机制性缺陷与系统性失败模式提供了坚实依据。

衍生相关工作

VIBE的构建催生了多个方向的后续研究。在其框架下被系统性评测的模型包括了MAE-VQGAN、Painter、LVM、DeLVM、PromptDiffusion和SD-VICL等代表性方法，其中训练无需微调的SD-VICL表现出最稳定的跨任务适应能力。此外，该基准启发了关于上下文敏感评估指标的探索，例如提出采用感知相似度度量来捕捉情境上下文对任务定义的实质性影响。未来工作可进一步扩展至少样本或零样本设置，以及将评估协议应用于视觉语言模型的类比推理能力测试。