Diagram-MMU

Diagram-MMU是一个用于评估多模态大语言模型在科学图表理解、解析和编辑任务上的多模态基准数据集。该数据集旨在全面评估模型对科学图表的理解能力。数据集包含3,744个精心策划的科学图表，每个图表都配有可编译的LaTeX/TikZ源代码，并涵盖了图表、平面几何、三维形状、图结构、化学和电路图六个科学领域。基于这些核心图表，数据集构建了总计18,305个人工验证的评估实例，分布在三个具体任务上：图表到代码解析（Diagram-to-Code Parsing, D2C-P）、图表到代码编辑（Diagram-to-Code Editing, D2C-E）和图表问答（Diagram Question Answering, DQA）。数据集通过四个配置提供：`diagrams` 配置包含每个图表的规范源数据（图表ID、图像、源代码、前导码、领域）；`d2c-p` 配置用于图表解析任务，包含指令、目标代码和参考图像；`d2c-e` 配置用于图表编辑任务，额外包含任务ID、编辑维度和编辑指令；`dqa` 配置用于问答任务，包含问题、答案、问题类型和输出指令。每个配置都提供完整的测试集（`test`）和一个用于快速开发的类别平衡子集（`testmini`）。数据集的源代码收集自官方包手册和社区资源，所有标注均为原创。该数据集采用CC BY-NC 4.0许可证发布，仅用于评估目的（非商业用途，不用于训练）。Diagram-MMU is a multimodal benchmark dataset developed to evaluate multimodal large language models (LLMs) on scientific diagram understanding, parsing and editing tasks. This dataset aims to comprehensively assess models' abilities to comprehend scientific diagrams. It contains 3,744 meticulously curated scientific diagrams, each paired with compilable LaTeX/TikZ source code, covering six scientific domains: diagrams, planar geometry, 3D shapes, graph structures, chemistry and circuit diagrams. Based on these core diagrams, a total of 18,305 manually verified evaluation instances are constructed, distributed across three specific tasks: Diagram-to-Code Parsing (D2C-P), Diagram-to-Code Editing (D2C-E) and Diagram Question Answering (DQA). The dataset is provided via four configurations: the `diagrams` configuration includes standardized source data for each diagram (diagram ID, image, source code, preamble and domain); the `d2c-p` configuration is for the diagram parsing task, containing instructions, target code and reference images; the `d2c-e` configuration is for the diagram editing task, which additionally includes task ID, editing dimension and editing instructions; the `dqa` configuration is for the question answering task, containing questions, answers, question types and output instructions. Each configuration provides a complete test split (`test`) and a category-balanced subset (`testmini`) for rapid development. The source code of the dataset is collected from official package manuals and community resources, and all annotations are original. This dataset is released under the CC BY-NC 4.0 license, and is only intended for evaluation purposes (non-commercial use, not for training).

原始信息汇总

数据集概述：Diagram-MMU

Diagram-MMU 是一个多模态基准数据集，专为评估多模态大语言模型（MLLMs）在理解、解析和编辑科学图表方面的能力而设计。

核心信息

• 数据集大小：包含 3,744 个精选科学图表（每个都附带可编译的源代码），以及 18,305 个人工验证的评估实例。
• 领域覆盖：覆盖 六个科学领域：
  • charts（图表）
  • planar_geometry（平面几何）
  • 3d_shapes（三维形状）
  • graph_structures（图形结构）
  • chemistry（化学）
  • circuit_diagrams（电路图）
• 任务类型：包含三项核心任务：
  1. Diagram-to-Code Parsing (D2C-P)：图表到代码的解析。
  2. Diagram-to-Code Editing (D2C-E)：图表到代码的编辑。
  3. Diagram Question Answering (DQA)：图表问答。
• 许可证：CC BY-NC 4.0（仅限评估使用，不可商用或用于训练）。

数据集构成与配置

该数据集包含四个配置（config），每个配置有 test（完整集）和 testmini（快速开发子集，每领域50个样本，共300个）两个划分。

配置名	任务描述	test 样本数	testmini 样本数
diagrams	每个图表的规范源代码	3,744	300
d2c-p	图表到代码解析	3,739	300
d2c-e	图表到代码编辑	7,420	600
dqa	图表问答	7,146	600

数据字段说明

• diagrams 配置：
  • diagram_id， image， source_code， preamble（文档类+宏包）， domain。
• d2c-p / d2c-e 配置：
  • 通用字段：id， diagram_id， image， instruction， code， reference_image， domain。
  • d2c-e 额外字段：task_id， dimension， editing_instruction。
• dqa 配置：
  • id， diagram_id， image， question， answer， domain， question_type（regular 或 what_if）， question_name， output_instruction。

评估方式

所有真实标签（ground truth）均已公开，评估在本地进行，无需提交。评估指标包括：

• D2C-P / D2C-E：对象级 F1（含类型/文本/颜色/边界框）、CrystalBLEU、图像指标（SSIM/CLIP/LPIPS/FID），D2C-E 会区分保留（preserve）和编辑（edit）部分。
• DQA：基于 output_instruction 类型的规则匹配准确率，并辅以 LLM 作为评判的回退机制。

使用示例

python from datasets import load_dataset

加载解析任务

d2cp = load_dataset("<org>/Diagram-MMU", "d2c-p", split="test")

加载问答任务（开发子集）

dqa = load_dataset("<org>/Diagram-MMU", "dqa", split="testmini")

加载图表源代码

diagrams = load_dataset("<org>/Diagram-MMU", "diagrams", split="test")

访问第一个样本

ex = d2cp[0] ex["image"] # 自动解码的 PIL.Image ex["code"] # 真实源代码

搜集汇总

数据集介绍

构建方式

Diagram-MMU是一个面向科学图表的多模态基准数据集，由3,744幅经人工校验的图表构成，每幅图表均附有可编译的TikZ/LaTeX源代码。数据集源自官方包手册（如PGFPlots、CircuiTikZ）及社区资源（如texample.net、TeX Stack Exchange），并由领域专家精心筛选与标注。其构建围绕三大任务展开：图表到代码解析（D2C-P）、图表到代码编辑（D2C-E）和图表问答（DQA），共衍生出18,305条经人类验证的评估实例，涵盖图表、平面几何、三维形状、图结构、化学和电路图六个领域。数据以HuggingFace格式组织，包含四个配置项（diagrams、d2c-p、d2c-e、dqa），每个配置均设有完整测试集和用于快速开发的类平衡子集testmini。

特点

该数据集的核心特质在于其多维度、细粒度的评估框架。针对图表理解任务，它同时提供对象级F1值、代码级CrystalBLEU、图像级SSIM/CLIP相似度与FID/LPIPS感知距离等多种指标，全面衡量模型在结构解析、代码生成与视觉再现方面的能力。D2C-E任务进一步引入17种编辑模板，涵盖文本、颜色、范围与布局四个维度，可评估模型在局部修改、元素增删与结构转换上的灵活性。DQA任务则区分常规问答与假设性推理，并定义数值、术语与列表三种输出格式，以严格规则匹配为主、语言模型为后备的评估机制，确保评测的客观性与精确性。

使用方法

研究者可通过HuggingFace datasets库便捷地加载该数据集。例如，使用load_dataset函数指定配置名称（如'd2c-p'或'dqa'）和切分（如'test'或'testmini'），即可获取包含图像、指令、代码及元数据的结构化样本。每条记录中的图像字段可自动解码为PIL.Image对象，代码字段存储了目标TikZ/LaTeX源码。由于全部标注数据公开，用户需在本地执行评估，利用官方提供的脚本计算对象F1、CrystalBLEU及图像质量指标；DQA任务则依据output_instruction字段自动选择匹配规则，并可在模糊判定时借助语言模型裁决。该数据集仅供学术评估使用，不得用于商业目的或模型训练。

背景与挑战

背景概述

Diagram-MMU是由Weihao Bo、Shan Zhang等研究人员于2026年发布的多模态基准数据集，旨在系统评估多模态大语言模型（MLLMs）对科学示意图的理解、解析与编辑能力。该数据集涵盖图表、平面几何、3D形状、图结构、化学分子及电路图六大领域，包含3,744张带有可编译代码的示意图及18,305个经过人工验证的评估实例，覆盖示意图到代码解析、示意图到代码编辑及示意图问答三项核心任务。作为首个聚焦科学示意图的综合性多模态基准，Diagram-MMU填补了现有视觉语言模型在专业示意图领域评估的空白，为推动MLLMs在科学文献理解、自动化图表生成等方向的研究提供了关键测试平台。

当前挑战

Diagram-MMU所解决的领域问题主要包括：1）现有多模态基准（如ChartQA、PlotQA）多聚焦于简单图表，缺乏对复杂科学示意图（如电路图、化学分子结构）的深度理解评估，模型难以捕捉图中精确的几何关系、符号语义及代码级生成逻辑；2）示意图的理解需同时处理视觉细节与底层结构化代码表示，传统评估指标（如图像级相似度）无法衡量代码生成的正确性。构建过程中面临的挑战包括：1）从PGFPlots、TikZ等专业LaTeX包手册及社区资源中收集近4,000张示意图，需确保每张图均配有可编译的源代码，并通过人工核验消除语法错误；2）设计17种编辑模板（涵盖文本、颜色、范围、布局四个维度）以模拟真实编辑场景，需确保编辑指令的语义清晰性与操作可行性，最终生成7,420个编辑实例；3）标注7,146个问答对时需区分常规问题与假设性问题，并定义三种输出格式（数值、术语、列表），以支持自动评估系统的精确匹配与LLM兜底判断。

常用场景

经典使用场景

Diagram-MMU作为一项专门针对科学图表理解与生成的多模态基准数据集，其经典使用场景集中于评估多模态大语言模型在图表解析、代码生成与编辑、以及基于视觉内容的问答任务上的能力。该数据集涵盖了图表、平面几何、三维形状、图结构、化学分子与电路图等六大科学领域，提供了超过1.8万条经过人工验证的测试实例。研究者可以利用这些实例，系统地评测模型从图表图像中复现其底层LaTeX/TikZ代码（即图表到代码解析）的准确性，以及根据文本指令对已有图表进行局部修改（如颜色变换、元素增删、结构转换）的能力。同时，数据集中的图表问答任务考察模型对图表所蕴含科学信息的理解深度，包括数值提取、术语识别与属性列举等子任务，从而全面衡量其在科学文档自动化处理中的表现。

解决学术问题

该数据集在学术层面解决的核心问题在于填补了现有视觉语言基准在科学图表细粒度理解与结构化生成方面的显著空白。以往的多模态评估体系多聚焦于自然图像或通用文本，缺乏对具有严格语法约束与领域知识依赖的图表符号系统的关注。Diagram-MMU通过提供带有可编译源代码的图表数据，首次将图表理解任务与代码生成任务在统一框架下对齐，使得模型不仅要感知视觉元素的空间关系，还需掌握图文之间的语义映射规则。这为研究多模态模型在科学推理、视觉推理链路、以及指令跟随等学术问题上提供了可量化的测试平台。其意义在于推动了多模态学习从表面特征匹配向深层结构理解的演进，为后续开发更加智能的学术助手与自动化文献分析系统奠定了数据与方法基础。

衍生相关工作

Diagram-MMU的发布催生了一系列相关研究工作，主要集中在多模态模型的图理解能力提升与任务精细化设计两个方向。在模型层面，研究者借鉴该基准中图表与源代码的严格对应关系，提出了融合视觉编码器与语法感知解码器的端到端图代码生成架构，有效提升了代码结构对视觉输入的还原度。在任务拓展方面，后续工作在Diagram-MMU提供的编辑模板框架（涵盖文字、颜色、范围与布局四维度）基础上，引入了更细粒度的局部编辑攻击与层次化推理评估，如关注图表中元素间的依赖网络是否在编辑后保持一致。此外，该数据集的领域标签体系推动了跨域迁移学习的研究，催生了面向特定图表类型（如电路图或化学结构式）的专用预训练策略。一些工作还进一步融合了图表理解与自然语言推理，构建了包含多轮对话与反事实假设的复合图表问答场景。