VSR

该数据集是一个多模态评估数据集，包含图像和文本数据，旨在支持视觉问答或视觉关系推理等任务。数据集提供两个配置：default配置包含丰富的标注信息，每个样本包括唯一标识符（id）、图像媒体列表（media）、消息文本（messages）、答案（answer）、问题类型（question_type）、标签（label）、关系（relation）、主体实体（subj）、客体实体（obj）、源图像信息（source_image）和图像链接（image_link）；zeroshot配置则简化了字段，仅包含id、media和messages，适用于零样本评估场景。两个配置均仅提供测试集，各包含1222个样本，数据以结构化格式存储，适用于多模态机器学习模型的性能测试和分析。

This dataset is a multimodal evaluation dataset containing image and text data, designed to support tasks such as visual question answering or visual relationship reasoning. The dataset offers two configurations: the default configuration includes rich annotation information, with each sample comprising a unique identifier (id), a list of image media (media), message text (messages), answer (answer), question type (question_type), label (label), relation (relation), subject entity (subj), object entity (obj), source image information (source_image), and image link (image_link); the zeroshot configuration simplifies the fields, containing only id, media, and messages, suitable for zero-shot evaluation scenarios. Both configurations provide only test sets, each containing 1222 samples, and data is stored in a structured format, applicable for performance testing and analysis of multimodal machine learning models.

原始信息汇总

数据集概述：VSR

基本信息

• 数据集名称：VSR
• 数据集页面：https://huggingface.co/datasets/mm-eval/VSR
• 数据集大小：下载大小约 101.78 MB，数据集总大小约 102.06 MB

数据集配置

• 配置名称：default
• 数据划分：仅包含 test 测试集，共 1222 个样本

数据特征

数据集包含以下字段：

字段名	数据类型	说明
id	字符串	样本唯一标识
media	图像列表	多模态媒体，此处为图像
messages	字符串	对话消息内容
answer	字符串	答案文本
question_type	字符串	问题类型
label	整数	标签（0/1，用于二分类或判断）
relation	字符串	关系描述
subj	字符串	关系中的主语
obj	字符串	关系中的宾语
source_image	字符串	来源图像信息
image_link	字符串	图像链接

数据文件

• 测试集数据存储在 data/test-* 路径下，采用分片存储方式。

适用场景

该数据集适用于视觉推理（Visual Reasoning）任务，特别是涉及图像理解、关系推理、多模态问答（VQA）等场景的模型评估。

搜集汇总

数据集介绍

构建方式

VSR（Visual Spatial Reasoning）数据集专注于评估视觉空间推理能力，其构建基于自然图像与空间关系问题的配对。数据集中每一条样本包含一张图像、一组自然语言消息（messages）以及对应的答案（answer），并标注了问题类型（question_type）、空间关系（relation）、主体（subj）与客体（obj）等结构化信息。所有样本统一存储于test分割中，共计1222个示例，数据以图像列表（media）与字符串字段结合的形式组织，从图像来源（source_image）与链接（image_link）可追溯原始视觉素材。

特点

该数据集的核心特色在于其细粒度的空间关系标注与多样性问题类型。每个样本不仅提供二元标签（label）指示正误，还显式记录了图像中主体与客体间的空间关系（如“在...上面”“在...旁边”等），使得模型推理过程可解释。此外，数据集中包含的messages字段可模拟多轮对话场景，支持对模型进行更复杂的语言与视觉对齐测试。所有图像均为真实场景拍摄，避免了合成数据的偏差，从而更贴近现实世界的视觉推理挑战。

使用方法

VSR数据集主要面向视觉语言模型的零样本或少样本评估任务。使用时，可将图像（media）与对应的消息（messages）作为输入，要求模型预测答案（answer）或判断正误（label）。典型应用场景包括空间关系理解基准测试、多模态对话系统验证以及视觉推理能力分析。数据集仅提供test分割，用户可直接加载全部样本进行标准化评估。建议结合HuggingFace datasets库进行快速加载与批处理，通过遍历每条样本的image字段与messages字符串，构建统一的输入格式后送入预训练模型中进行推理。

背景与挑战

背景概述

在视觉与语言交叉领域，视觉推理（Visual Reasoning）任务一直是评估人工智能系统对图像内容深层理解能力的重要基准。VSR（Visual Spatial Reasoning）数据集由相关研究机构于近年创建，聚焦于自然场景中的空间关系理解，例如物体之间的相对位置、方向与交互状态。该数据集通过精心设计的图文问答对，要求模型不仅识别图像中的对象，还需推理其空间逻辑，从而检验多模态模型在结构化知识表征上的能力。VSR数据集的出现填补了传统视觉问答（VQA）在空间推理细粒度评估上的空白，成为推动视觉语言模型从感知走向推理的关键资源，对多模态学习与认知计算领域产生了显著影响。

当前挑战

VSR数据集所面临的核心挑战源于空间推理本身的复杂性。领域问题层面，现有模型往往过度依赖视觉语义线索而忽略空间逻辑，导致在处理“左/右”、“之上/之下”等关系时精度有限，尤其是在干扰物体密集的场景中。构建过程层面，如何确保问题与图像之间的空间关系描述既精确又自然，避免因标注歧义或主观性引发模型误判，是一大难点。此外，数据集仅提供静态图像，缺乏动态时序信息，限制了模型对相对位置变化的理解。平衡问题多样性与标注一致性，以及在高难度样本中避免语言偏置，也是该数据集在评测多模态推理能力时亟待解决的挑战。

常用场景

经典使用场景

VSR（Visual Semantic Role）数据集在视觉与语言交叉领域扮演着举足轻重的角色，其核心应用场景聚焦于视觉语义角色标注任务。该数据集精心构建了图像与文本之间复杂的语义对应关系，要求模型不仅识别视觉实体，还需精准理解它们所扮演的语义角色。研究人员常利用VSR评估模型在细粒度视觉推理上的表现，例如判断图像中主体与客体的关系、动作的语义指向等，为多模态理解提供了坚实的基准。

衍生相关工作

基于VSR数据集，学界涌现了一系列经典衍化工作，如将语义角色标注与视觉语言预训练模型结合，提出统一多模态架构；或扩展至视频语义角色解析，捕捉时序动态下的角色演变。这些工作不仅验证了VSR在细粒度推理上的挑战性，还催生了诸如情景图解析、对抗性视觉问答等新范式，持续推动着视觉与语言融合研究的前沿边界。

数据集最近研究

最新研究方向

在视觉-语言推理领域，VSR数据集以其对空间关系理解的深度挖掘而备受瞩目。该数据集通过精心设计的图像对与问题模板，聚焦于模型对“在...之上”、“在...之间”等空间谓词的推理能力，这不仅是对传统视觉问答任务的延伸，更是对当前大语言模型与视觉编码器协同下空间认知极限的挑战。前沿研究热点集中于利用VSR评估多模态模型在复杂场景中的因果推理与几何关系建模能力，尤其是在对抗性样本和分布外场景下的鲁棒性。其意义在于推动了从简单物体识别向结构化空间关系理解的范式转变，为具身智能与自动驾驶等依赖精确空间感知的领域提供了关键的基准测试，促进了多模态预训练模型在空间逻辑层面的持续进化。