SAT

该数据集包含两个配置：real（真实）和synthetic（合成）。每个样本由多模态数据组成，包括一个图像列表（通过media字段表示）和多个文本字段：唯一标识符（id）、对话消息（messages）、答案（answer）、问题类型（question_type）以及源问题类型（source_question_type）。real配置的测试集包含150个样本，synthetic配置的测试集包含4001个样本。数据集适用于多模态任务，例如图像相关的问答、对话理解或问题类型分类。This dataset includes two configurations: real and synthetic. Each sample consists of multimodal data, comprising an image list (via the media field) and multiple text fields: a unique identifier (id), conversation messages (messages), an answer (answer), question type (question_type), and source question type (source_question_type). The test set for the real configuration contains 150 samples, and the test set for the synthetic configuration contains 4001 samples. The dataset is suitable for multimodal tasks, such as image-related question answering, dialogue understanding, or question type classification.

原始信息汇总

数据集概述

• 数据集名称：SAT
• 数据集页面：https://huggingface.co/datasets/mm-eval/SAT

配置与结构

该数据集包含两个配置（config）：

配置名	样本量（test）	数据集大小	说明
real	150 个样本	164,885,831 字节	真实数据
synthetic	4,001 个样本	191,346,995 字节	合成数据

特征字段

所有配置共享以下字段：

字段名	类型	说明
id	string	样本唯一标识
media	image（列表）	关联的图片数据
messages	string	多轮对话消息
answer	string	正确答案
question_type	string	问题类型
source_question_type	string	源问题类型

数据划分

• 每个配置仅包含一个划分（split）：test。
• real 配置测试集数据文件路径：real/test-*
• synthetic 配置测试集数据文件路径：synthetic/test-*

说明

该数据集专为多模态评估设计，包含真实场景与合成场景的图片问答数据，用于测试模型在视觉与语言推理任务上的表现。

搜集汇总

数据集介绍

构建方式

SAT数据集由两个子集构成，分别是基于真实场景和合成数据构建的。真实子集包含150个样本，源自标准化学术测试，确保评估的现实性和权威性。合成子集则包含4001个样本，通过算法生成多样化的复杂场景，以扩展数据覆盖范围。每个样本均包含图像、多轮对话消息、标准答案及问题类型标签，形成结构化测试集。数据以test分片形式存储，便于直接用于模型评估。

特点

该数据集的核心特色在于其双重构型设计，既保留了真实测试的规范性，又融入了合成数据的丰富性。每个样本的`messages`字段存储多轮交互信息，支持对视觉语言模型在复杂对话场景中的表现进行深度评测。`question_type`和`source_question_type`字段提供了细粒度的问题类别标注，有助于分析模型在不同类型任务上的能力差异。图像数据通过`media`字段加载，确保多模态数据的完整集成。

使用方法

使用SAT数据集时，可通过HuggingFace的`load_dataset`函数指定`real`或`synthetic`配置名称加载相应子集。数据以Apache Parquet格式存储，支持高效读取。评估流程通常包括：从`test`分片中提取图像和`messages`内容，输入至目标视觉语言模型生成输出，再与`answer`字段中的标准答案进行对比。`question_type`可用于按类别进行分组评估，从而深入分析模型的领域适应性。

背景与挑战

背景概述

SAT数据集是由研究机构构建的视觉语言多模态评估基准，发布于近年来大型语言模型与视觉理解交叉领域快速发展的背景之下。该数据集旨在系统性地评估模型在理解图文关联、进行推理问答方面的能力，其核心研究问题集中于模型能否像人类一样，基于图像信息与语言指令完成复杂场景下的准确回答。数据集包含真实（real）与合成（synthetic）两个配置，分别有150个和4001个测试样本，覆盖多样的图像类型与问题形式。通过引入结构化字段如id、media、messages、answer及question_type，SAT为研究者提供了标准化的测试平台，对推动多模态模型在细粒度视觉语言理解、鲁棒性及可解释性方面的进步具有重要意义。

当前挑战

该数据集所解决的领域挑战主要在于现有视觉语言模型在面对真实世界图像与合成图像混合的评估时，难以保持一致的推理准确率，尤其在需要跨模态对齐和常识推理的场景中表现脆弱。构建过程中面临的挑战包括：如何设计能够有效区分模型在视觉理解与语言理解上真正局限性的问题类型，如何保证真实与合成图像在内容与难度上的平衡以避免偏差，以及如何定义细粒度的question_type以覆盖从简单描述到复杂逻辑推理的多种能力维度。此外，确保数据集规模适中且标注质量可靠，也是制约其效用的关键难题。

常用场景

经典使用场景

SAT数据集作为多模态推理领域的标杆性资源，其经典使用场景聚焦于评估视觉语言模型在复杂图像理解与逻辑推理任务上的综合能力。该数据集包含真实场景与合成场景两大子集，前者涵盖自然拍摄的图表、表格和摄影作品，后者则通过程序化生成构造出结构化视觉问答对，共同构成了对模型跨模态对齐、空间关系推理及数值计算等维度的严苛考验。研究者通常利用该数据集的多样性和难度分级，系统性地测试模型在开放世界图像中的泛化表现。

衍生相关工作

围绕SAT数据集已衍生出一系列具有深远影响的经典工作。一方面，学者基于其合成子集构建了对抗性扰动模板，发展出了测试模型鲁棒性的标准化流程；另一方面，研究者借鉴其多轮对话架构，设计出融合外部知识库的混合推理模型，成功在AI2D、ScienceQA等同类数据集上取得性能跃升。此外，该数据集催生了诸如'SAT-Bench'等大规模评测框架，系统性地对比了GPT-4V、Claude 3等多模态顶尖模型在空间与数值推理维度的能力边界。

数据集最近研究

最新研究方向

SAT数据集聚焦于视觉语言模型在科学图表理解与推理任务上的前沿评估，其真实与合成双配置设计精准模拟了学术场景中的多模态挑战。当前研究热点围绕该数据集推动的跨学科应用，如解析复杂图表中的逻辑关系、验证模型在化学式或物理曲线等专业领域的泛化能力，并关联大模型在科研自动化中的可信度突破。该基准不仅揭示了当前视觉语言模型在细粒度科学推理上的局限性，更倒逼研究者优化模态对齐机制，为教育智能辅导、学术论文自动解读等方向提供核心验证平台，其提出的问题类型分类体系对构建可解释、高鲁棒性的AI科学助手具有里程碑意义。