AILab-CVC/SEED-Bench-H

SEED-Bench-H是一个用于评估多模态大语言模型（MLLMs）的大规模基准测试数据集。该数据集包含28,000个多项选择题，涵盖了34个维度，包括文本和图像生成的评估。数据集于2024年4月收集，并提供了多个数据来源的详细信息及其相应的许可证。其主要用途是评估多模态大语言模型在文本和图像生成任务中的表现，主要面向计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

原始信息汇总

SEED-Bench-H 数据集概述

数据集基本信息

• 许可证: cc-by-nc-4.0
• 任务类别: 视觉问答
• 语言: 英语
• 数据集大小: 1K<n<10K

数据集详细描述

基准类型

SEED-Bench-H 是一个大规模的基准，用于评估多模态大型语言模型（MLLMs）。它包含28,000个多选题，涵盖34个维度，包括文本和图像生成能力的评估。

数据收集时间

数据集于2024年4月收集。

数据来源

• 维度1-9, 23 (情境标题): 概念标题数据集
• 维度9 (文本识别): ICDAR2003, ICDAR2013, IIIT5k, SVT
• 维度10 (名人识别): MME, MMBench
• 维度11 (地标识别): 谷歌地标数据集v2
• 维度12 (图表理解): PlotQA
• 维度13 (视觉引用表达): VCR
• 维度14 (科学知识): ScienceQA
• 维度15 (情感识别): FER2013
• 维度16 (视觉数学): MME, 互联网数据
• 维度17 (差异识别): MIMICIT
• 维度18 (模因理解): 互联网数据
• 维度19 (全球视频理解): Charades
• 维度20-22 (动作识别, 动作预测, 过程理解): Something-Something v2, Epic-Kitchen 100, Breakfast
• 维度24 (交错图像-文本分析): 互联网数据
• 维度25 (文本到图像生成): CC-500, ABC-6k, Stable-Diffusion-XL
• 维度26 (下一图像预测): Epic-Kitchen 100
• 维度27 (文本图像创作): 互联网数据
• 维度28-31 (少量样本分割, 关键点, 深度, 对象): MSCOCO数据集
• 维度32 (图像到LaTeX): Im2Latex数据集
• 维度33 (文本丰富的视觉理解): 互联网数据

预期用途

• 主要用途: 评估多模态大型语言模型在文本和图像生成任务中的表现。
• 主要用户: 计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

搜集汇总

数据集介绍

构建方式

在视觉与语言多模态模型评估领域，SEED-Bench-H作为一项大规模基准测试应运而生。其构建过程融合了多元化的高质量数据源，涵盖Conceptual Captions、ICDAR系列、MME、MMBench、PlotQA、ScienceQA等二十余个权威数据集，并辅以互联网公开数据。所有28K道多项选择题均经由人工精确标注，确保了评估的严谨性与可靠性。该基准覆盖34个评估维度，不仅包括传统的文本与图像理解任务，还创新性地纳入了文本到图像生成、少样本学习、交错图文分析等前沿挑战，构建了一个全面而细致的多模态能力评估体系。

特点

SEED-Bench-H的显著特点在于其广度与深度的有机统一。它横跨34个精细维度，从基础的文本识别、地标识别到高阶的科学知识推理、数学视觉计算与视频全局理解，实现了对多模态大语言模型能力的全方位透视。尤为突出的是，该基准不仅评估模型的感知与理解能力，还深入考察其在图像生成、文本图像创建等生成性任务上的表现。这种设计使得研究者能够系统性地诊断模型在特定能力维度上的优势与短板，为模型的迭代优化提供了极具价值的参考坐标。

使用方法

SEED-Bench-H专为计算机视觉、自然语言处理及人工智能领域的研究者与爱好者设计，旨在评估多模态大语言模型的文本与图像生成性能。使用时，研究者可将模型在28K道多选题上的预测结果与标准答案进行比对，以计算各维度及总体的准确率。该基准的详细使用指南、代码及数据访问入口均集成于其GitHub仓库（https://github.com/AILab-CVC/SEED-Bench），便于社区进行复现与拓展。数据集遵循CC-BY-NC-4.0许可协议，使用时应遵守OpenAI服务条款及各数据源的原始授权规定。

背景与挑战

背景概述

随着多模态大语言模型（MLLMs）的迅猛发展，如何系统性地评估其在视觉与语言融合任务中的综合能力成为研究焦点。SEED-Bench-H由AILab-CVC团队于2024年4月创建，是一个大规模基准测试，旨在全面衡量MLLMs在文本与图像生成领域的表现。该基准包含28,000道精心人工标注的多选题，覆盖34个维度，从基础视觉理解到复杂推理任务如数学计算、情感识别和视频理解等。其数据来源广泛，整合了Conceptual Captions、ICDAR、ScienceQA等多个权威数据集，确保了评估的多样性与代表性。SEED-Bench-H的推出为多模态模型研究提供了标准化评估框架，显著推动了该领域对模型细粒度能力的认知与比较。

当前挑战

SEED-Bench-H所解决的领域挑战在于，现有基准多聚焦于单一模态或简单任务，难以揭示MLLMs在复杂多模态场景中的真实局限。该基准通过涵盖34个细粒度维度，系统性地暴露了模型在跨模态推理、少样本学习、文本富集视觉理解等方面的不足。构建过程中，团队面临数据整合与标注一致性难题：需从十余个异构数据集中提取并重构问题，确保各维度间难度均衡且标注无歧义。此外，视频理解维度仅提供8帧采样，可能丢失时序信息；部分维度如表情识别和梗图理解依赖主观标注，存在语义模糊性。这些挑战共同构成了评估MLLMs鲁棒性与泛化能力的重要试金石。

常用场景

经典使用场景

SEED-Bench-H作为一个大规模、多维度的基准测试，其最经典的使用场景在于系统性地评估多模态大语言模型（MLLMs）的综合能力。该数据集精心构建了28,000道带有精确人工标注的多选题，横跨34个评估维度，涵盖从视觉感知到文本与图像生成的广泛任务。研究者可借此对模型在诸如场景理解、图表解析、情感识别、数学推理乃至视频动作预测等复杂情境下的表现进行量化考核，从而全面衡量模型的认知边界与多模态融合的深度。

解决学术问题

该数据集精准回应了当前多模态大语言模型研究中评估标准碎片化与维度单一的学术困境。传统基准往往聚焦于视觉问答或图像描述等有限任务，难以揭示模型在跨模态对齐、细粒度理解及生成能力等方面的真实水平。SEED-Bench-H通过统一框架整合34个细粒度维度，首次实现了对文本与图像生成任务的一体化评测，为学界提供了标准化、可复现的横向比较平台，有力推动了模型鲁棒性与泛化能力的深度剖析。

衍生相关工作

SEED-Bench-H的发布催生了一系列衍生性研究工作。一方面，研究者基于其34维评估体系，开发了针对特定能力（如少样本分割、深度估计）的细粒度诊断工具，促进了模型可解释性分析。另一方面，该基准推动了多模态模型在图文交错理解与跨任务迁移学习上的突破，例如涌现出以SEED-Bench为基线的统一预训练框架优化工作。此外，其公开的标注规范与数据来源，为构建更广泛的多模态评测生态奠定了方法论基础。