MultiTasks-v2

MultiTasks-v2是一个多模态基准数据集集合，包含十二个经过标准化处理的子集，统一采用图像-问题-答案格式。该数据集旨在为多模态评估和训练实验提供统一的基准，涵盖视觉问答、文档理解、图表推理、几何问题求解、逻辑推理、视觉谜题、情感识别和指代表达式定位等多种任务。数据集中每个样本包含四个字段：唯一标识符（id，格式为{Dataset}_{split}_{index}）、图像列表（images，存储为JPEG字节，每个样本包含一张图像）、问题提示（problem）和答案（answer）。除RefAdv子集使用列表形式的边界框坐标答案外，其他所有子集均使用字符串答案。数据集包含以下十二个子集：ChartQA、CVBench、DocVQA、DrivingVQA、EmoSet2k、Geometry3k、IconQA、LogicGraph、MathVista、OlympiadBench、PuzzleVQA和RefAdv。每个子集均提供训练集和测试集分割，样本数量分别为：ChartQA（1100/1100）、CVBench（1100/1100）、DocVQA（1100/1100）、DrivingVQA（1100/1100）、EmoSet2k（1100/1100）、Geometry3k（1100/1100）、IconQA（1100/1100）、LogicGraph（450/450）、MathVista（500/500）、OlympiadBench（1100/1100）、PuzzleVQA（1000/1000）、RefAdv（571/571）。数据集对多选题进行了标准化处理，统一采用选项字母格式，答案仅包含选项字母（如A、B或A,C）。开放式任务则保留简短的文本答案。该数据集是对现有基准源的标准化聚合，适用于多模态模型的综合性能评估。MultiTasks-v2 is a multimodal benchmark dataset collection comprising twelve standardized subsets, uniformly adopting an image-question-answer format. This dataset aims to provide a unified benchmark for multimodal evaluation and training experiments, covering various tasks such as visual question answering, document understanding, chart reasoning, geometric problem solving, logical reasoning, visual puzzles, emotion recognition, and referring expression localization. Each sample in the dataset includes four fields: a unique identifier (id, formatted as {Dataset}_{split}_{index}), a list of images (stored as JPEG bytes, with each sample containing one image), a problem prompt, and an answer. Except for the RefAdv subset, which uses list-form bounding box coordinate answers, all other subsets use string answers. The dataset includes the following twelve subsets: ChartQA, CVBench, DocVQA, DrivingVQA, EmoSet2k, Geometry3k, IconQA, LogicGraph, MathVista, OlympiadBench, PuzzleVQA, and RefAdv. Each subset provides both training and test set splits, with sample counts as follows: ChartQA (1100/1100), CVBench (1100/1100), DocVQA (1100/1100), DrivingVQA (1100/1100), EmoSet2k (1100/1100), Geometry3k (1100/1100), IconQA (1100/1100), LogicGraph (450/450), MathVista (500/500), OlympiadBench (1100/1100), PuzzleVQA (1000/1000), and RefAdv (571/571). The dataset standardizes multiple-choice questions by adopting an option letter format, where answers only include option letters (e.g., A, B, or A,C). Open-ended tasks retain short text answers. This dataset is a standardized aggregation of existing benchmark sources, suitable for comprehensive performance evaluation of multimodal models.

原始信息汇总

数据集概述

MultiTasks-v2 是一个多模态基准测试子集的集合，包含12个子集，所有数据均被标准化为统一的 图像-问题-答案 格式。

数据集结构

• 每个样本 包含以下字段：
  • id：唯一样本标识符，格式为 {Dataset}_{split}_{index}。
  • images：一个图像列表，包含一张JPEG格式的图像。
  • problem：输入给模型的提示（问题）。
  • answer：目标答案。
• 答案类型：除 RefAdv 子集的答案为列表（边界框坐标）外，其余子集均为字符串答案。

子集详情

子集名称	训练集规模	测试集规模	答案类型
ChartQA	1100	1100	string
CVBench	1100	1100	string
DocVQA	1100	1100	string
DrivingVQA	1100	1100	string
EmoSet2k	1100	1100	string
Geometry3k	1100	1100	string
IconQA	1100	1100	string
LogicGraph	450	450	string
MathVista	500	500	string
OlympiadBench	1100	1100	string
PuzzleVQA	1000	1000	string
RefAdv	571	571	list<int64>

提示标准化

• 多项选择题 被标准化为统一格式： text <image> Question: ... Options: A. ... B. ... C. ... Answer with only the option letter.

  答案仅包含选项字母（如 A、B 或 A,C）。

• 开放题 保留简短文本答案。

• RefAdv 答案为边界框坐标，格式为 [x1, y1, x2, y2]。

用途与说明

• 应用场景：适用于多模态评估与训练，涵盖视觉问答、文档理解、图表推理、几何、逻辑推理、视觉谜题、情绪识别和指代表达定位。
• 数据来源：本数据集是对现有基准来源的标准化整合，原始许可证、标注和文档请参考各原始数据集。

搜集汇总

数据集介绍

构建方式

MultiTasks-v2数据集汇聚了十二个多模态基准测试子集，并将其统一标准化为图像-问题-答案的共享格式。每个子集均包含独立的训练与测试拆分，数据以Parquet格式存储。在构建过程中，所有示例均被赋予唯一标识符，并保留了原始图像字节流、模型提示文本及目标答案等核心字段。对于多选型任务，选项被规范化为一致的字母风格；开放型任务则保持简洁的文本答案。特别地，RefAdv子集的答案以边界框坐标列表的形式呈现。

特点

该数据集的核心特色在于其广泛的覆盖范围与统一的架构设计。它横跨视觉问答、文档理解、图表推理、几何问题、逻辑推理、视觉谜题、情感识别及指代表达定位等多个领域，为多模态模型的评估与训练提供了丰富的素材。所有子集均保持相同的字段结构与数据加载方式，极大简化了跨任务研究的流程。每个子集均包含均衡的训练与测试样本量，确保了实验的公平性与可重复性。

使用方法

使用MultiTasks-v2数据集时，可通过HuggingFace Datasets库按子集名称加载特定配置。加载后，每个样本均包含'id'、'images'、'problem'及'answer'字段。对于多选型任务，模型的预测应仅输出选项字母；开放型任务则需生成简短的文本回答。RefAdv子集要求模型输出边界框坐标列表。该数据集适合用于多模态模型的零样本评估、微调训练及跨任务迁移学习研究。

背景与挑战

背景概述

多模态学习领域近年来蓬勃发展，尤以视觉语言理解为核心方向。MultiTasks-v2数据集应运而生，旨在归一化整合多个异构基准子集，构建一个统一的评估与训练框架。该数据集于较近期由相关研究社区创建，主要机构或团队信息虽未明确详述，但其整合了ChartQA、DocVQA、MathVista等十二个知名多模态任务，涵盖图表推理、文档理解、几何计算、逻辑推理、视觉谜题、情感识别及指代表达定位等广泛领域。每个子集均采用标准化的图像-问题-答案格式，极大便利了跨任务模型的公平比较与迁移学习研究。从影响力来看，MultiTasks-v2为多模态大模型提供了一站式评估平台，有望推动通用视觉语言推理能力的系统性和全面性评测，加速模型从单一任务向通用智能的演进。

当前挑战

MultiTasks-v2所解决的领域核心挑战在于多模态评估碎片化。传统基准各自独立，任务格式与评估标准不一，导致模型性能难以横向对比，也无法综合评估模型的通用理解能力。该数据集通过归一化提示模板、统一答案类型（字符串或边界框列表），有效降低了跨任务评估的复杂度。然而，数据集构建过程本身面临诸多挑战：其一是数据异构性带来的标注对齐困难，不同来源的问答对格式差异显著，例如选项式多选与开放式答案的混合必须保持一致；其二是RefAdv等子集涉及目标检测的边界框坐标，其列表型答案结构与其余子集的字符串答案形成异构，增加了数据处理的复杂性；其三是训练与测试样本分布的不均衡，例如LogicGraph仅含450条样本，而大部分子集为1100条，可能导致模型在不同任务上的学习充分性差异。此外，保持各子集原始注释的许可证与来源的可追溯性也是维护开放科学规范的重要挑战。

常用场景

经典使用场景

在视觉与语言交叉领域的研究中，MultiTasks-v2 数据集通过整合十二个涵盖不同维度的多模态基准子集，为评估和训练视觉语言模型提供了统一的标准化平台。其经典使用场景在于支持视觉问答、图表推理、文档理解、几何问题求解、逻辑推理、视觉谜题解答、情感识别以及指代表达定位等多样化任务。通过将图像、问题与答案格式归一化，研究者能够便捷地在同一框架下开展跨任务性能比较，从而深入探究模型在多模态理解上的综合能力。

解决学术问题

该数据集有效解决了多模态学习领域长期存在的基准碎片化与评估不一致问题。它统一了来自 ChartQA、DocVQA、MathVista 等多个知名数据集的数据格式与提示模板，使得学术研究能够聚焦于模型本身对视觉与语言信息的融合推理能力，而非受制于数据预处理差异。通过提供涵盖从情感认知到几何推理的多层次任务，它推动了视觉语言模型在复杂逻辑与抽象概念理解上的突破，对评估模型泛化性与鲁棒性具有深远意义。

衍生相关工作

基于 MultiTasks-v2 数据集，研究者已衍生出多项影响深远的学术工作。它常被用作多模态大语言模型（如视觉Transformer与CLIP变体）的标准化评估集，催生了针对视觉推理与图文对齐的对比学习框架。其规范化格式也促进了跨任务微调策略的探索，例如统一概率建模与多任务联合训练方法。此外，该数据集在指令微调与少样本学习研究中扮演重要角色，助力了一系列面向通用视觉问答代理的相关论文与开源工具的诞生。