BlINK

该数据集包含了从维基百科中提取的900万个提及实体对，用于训练模型以及评估其在实体消歧任务上的性能表现。

This dataset contains 9 million entity-mention pairs extracted from Wikipedia, which is designed for training models and evaluating their performance on the entity disambiguation task.

搜集汇总

背景与挑战

背景概述

BLINK是一个专注于评估多模态大语言模型核心视觉感知能力的基准数据集，包含14项人类可轻松解决但模型表现不佳的视觉任务（如深度估计、视觉对应等），共3,807个多项选择题并配有视觉提示。该数据集通过对比人类（平均准确率95.70%）与当前先进模型（如GPT-4V准确率51.26%）的性能，揭示了多模态大语言模型在视觉感知方面的显著不足。