AILab-CVC/SEED-Bench-2

SEED-Bench-2是一个用于评估多模态大语言模型（MLLMs）的大规模基准测试，包含24,000个多项选择题，涵盖了27个评估维度，涉及文本和图像生成。数据集的收集时间为2023年11月，主要用途是评估多模态大语言模型在文本和图像生成任务中的表现。数据集的主要用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

许可协议：CC BY-NC 4.0（知识共享署名-非商业性使用4.0国际许可协议）
任务类别：视觉问答（visual-question-answering）
语言：英语
基准名称：SEED-Bench-2
样本量范围：10000 < 样本量 < 100000

# SEED-Bench 基准卡片

## 基准详情

**基准类型**：SEED-Bench-2是一款用于评估多模态大语言模型（Multimodal Large Language Models, MLLMs）的大规模综合基准测试集，包含2.4万道经人工精准标注的多项选择题。该基准覆盖27项评估维度，可同时评测文本与图像生成能力。

**基准采集时间**：SEED-Bench数据集采集于2023年11月。

**相关资源与信息**：更多内容可访问：https://github.com/AILab-CVC/SEED-Bench

**许可协议**：采用署名-非商业性使用4.0国际许可协议，同时需遵守OpenAI官方使用条款：https://openai.com/policies/terms-of-use。

## 数据来源
- 第1-9、23维度（上下文字幕生成）：采用概念性标题数据集（Conceptual Captions Dataset，https://ai.google.com/research/ConceptualCaptions/），需遵循其许可协议（https://github.com/google-research-datasets/conceptual-captions/blob/master/LICENSE），版权归原数据集所有方所有。
- 第9维度（文本识别）：采用ICDAR2003（http://www.imglab.org/db/index.html）、ICDAR2013（https://rrc.cvc.uab.es/?ch=2）、IIIT5k（https://cvit.iiit.ac.in/research/projects/cvit-projects/the-iiit-5k-word-dataset）与SVT（http://vision.ucsd.edu/~kai/svt/），版权归原数据集所有方所有。
- 第10维度（名人识别）：采用MMBench（https://github.com/open-compass/MMBench）及其许可协议（https://github.com/open-compass/MMBench/blob/main/LICENSE）下的MME（https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Evaluation），版权归原数据集所有方所有。
- 第11维度（地标识别）：采用无非衍生限制的知识共享署名许可协议下的谷歌地标数据集v2（Google Landmark Dataset v2，https://github.com/cvdfoundation/google-landmark）。
- 第12维度（图表理解）：采用PlotQA（https://github.com/NiteshMethani/PlotQA）及其许可协议（https://github.com/NiteshMethani/PlotQA/blob/master/LICENSE），版权归原数据集所有方所有。
- 第13维度（视觉指代表达）：采用VCR（http://visualcommonsense.com）及其许可协议（http://visualcommonsense.com/license/），版权归原数据集所有方所有。
- 第14维度（科学知识）：采用ScienceQA（https://github.com/lupantech/ScienceQA）及其数据许可协议（https://github.com/lupantech/ScienceQA/blob/main/LICENSE-DATA），版权归原数据集所有方所有。
- 第15维度（情感识别）：采用FER2013（https://www.kaggle.com/competitions/challenges-in-representation-learning-facial-expression-recognition-challenge/data）及其竞赛规则许可（https://www.kaggle.com/competitions/challenges-in-representation-learning-facial-expression-recognition-challenge/rules#7-competition-data），版权归原数据集所有方所有。
- 第16维度（视觉数学）：采用MME（https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Evaluation）与知识共享署名许可协议下的互联网公开数据，版权归原数据集所有方所有。
- 第17维度（差异识别）：采用MIMICIT（https://github.com/Luodian/Otter/blob/main/mimic-it/README.md）及其许可协议（https://github.com/Luodian/Otter/tree/main/mimic-it#eggs），版权归原数据集所有方所有。
- 第18维度（表情包理解）：采用知识共享署名许可协议下的互联网公开数据。
- 第19维度（全局视频理解）：采用Charades（https://prior.allenai.org/projects/charades）及其许可协议（https://prior.allenai.org/projects/data/charades/license.txt）。SEED-Bench-2为每个视频提供8帧采样图像。
- 第20-22维度（动作识别、动作预测、流程理解）：采用Something-Something v2（https://developer.qualcomm.com/software/ai-datasets/something-something）、Epic-Kitchen 100（https://epic-kitchens.github.io/2023）与Breakfast（https://serre-lab.clps.brown.edu/resource/breakfast-actions-dataset/）。SEED-Bench-2为每个视频提供8帧采样图像。
- 第24维度（跨模态图文分析）：采用知识共享署名许可协议下的互联网公开数据。
- 第25维度（文本到图像生成）：采用CC-500（https://github.com/weixi-feng/Structured-Diffusion-Guidance）与ABC-6k（https://github.com/weixi-feng/Structured-Diffusion-Guidance）及其许可协议（https://github.com/weixi-feng/Structured-Diffusion-Guidance/blob/master/LICENSE），并使用Stable-Diffusion-XL（https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0）生成图像，需遵循其许可协议（https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/LICENSE.md）。
- 第26维度（下一帧图像预测）：采用Epic-Kitchen 100（https://epic-kitchens.github.io/2023）及其许可协议（https://creativecommons.org/licenses/by-nc-4.0/）。
- 第27维度（图文创作）：采用知识共享署名许可协议下的互联网公开数据。

若您认为本数据集存在侵犯您合法权益的内容，请联系我们，我们将及时移除相关数据。

## 基准咨询与反馈
如需咨询或反馈关于本基准测试的问题，请访问：https://github.com/AILab-CVC/SEED-Bench/issues

## 预期用途

**核心用途**：SEED-Bench-2主要用于评估多模态大语言模型的文本与图像生成任务性能。

**目标用户群体**：计算机视觉、自然语言处理、机器学习与人工智能领域的研究人员及爱好者为本基准测试的核心目标用户。

原始信息汇总

数据集概述

名称: SEED-Bench-2

类型: 大型综合基准

目的: 评估多模态大型语言模型（MLLMs）

内容:

• 问题数量: 24,000个多选题
• 评估维度: 27个
• 评估内容: 文本和图像生成能力

特点: 包含精确的人工标注。

搜集汇总

背景与挑战

背景概述

SEED-Bench-2是一个综合性大规模基准测试，用于评估多模态大语言模型（MLLMs），包含24,000个带精确人工标注的多项选择题，覆盖27个维度，专注于文本和图像生成任务的性能评估。数据集基于多个公开数据源构建，适用于计算机视觉、自然语言处理和人工智能领域的研究人员。