jiyatai/ALIGN-BENCH

ALIGN-BENCH数据集旨在定量测量视觉-语言模型的跨模态对齐能力。其核心思想是利用融合编码器最后一层的交叉注意力图，并与标注区域进行比较，从而计算全局-局部和局部-局部的对齐分数。数据集包含1500张图像和1500个标注文件，每个标注文件包含一个标题和一些单词在图像上的区域（边界框和像素掩码）。

原始信息汇总

ALIGN-BENCH 数据集概述

数据集目的

ALIGN-BENCH 旨在定量测量视觉-语言模型的跨模态对齐。

数据集核心思想

利用融合编码器最后一层的跨注意力图，并与某些单词对应的标注区域进行比较。

对齐评分计算

ALIGN-BENCH 可以从全局-局部和局部-局部两个角度计算对齐分数，包括边界框和像素掩码。

数据集内容

• 包含1,500张图像和1,500个标注文件。
• 每个标注文件包含一个标题和图像上某些单词的区域（边界框和像素掩码）。