VALSE (VALSE: A Task-Independent Benchmark for Vision and Language Models Centered on Linguistic Phenomena)

我们提出了 VALSE（视觉和语言结构化评估），这是一种新颖的基准测试，旨在测试通用预训练视觉和语言 (V&L) 模型在特定语言现象上的视觉语言基础能力。 VALSE 提供一套六种测试，涵盖各种语言结构。解决这些问题需要模型以视觉形式中的语言现象为基础，从而允许比迄今为止可能的更细粒度的评估。我们希望 VALSE 能够作为一个重要的基准，从语言的角度衡量预训练的 V&L 模型的未来进展，补充以任务为中心的规范 V&L 评估。