NaturalBench

NaturalBench旨在评估视觉语言模型在自然对抗样本上的表现。它包含超过10,000个经过人工验证的视觉问答样本，这些样本通过一种半自动化的方法收集，采用了一种以视觉为中心的设计，每个问题都配有两张图像，这两张图像会产生不同的答案，从而防止模型在不使用图像的情况下“盲目”作答。NaturalBench支持英语、中文和印地语，主要用于视觉问答任务和视觉语言模型的评估。数据集包含图像和问题，问题类型包括“是或否”以及“多项选择”，并提供标准化数据操作，方便用户加载和使用数据。该数据集基于Apache-2.0协议授权。