Chart2Code

Chart2Code是一个分三个难度级别的多模态模型评估基准，用于理解和生成数据可视化。第一级别是图表复制，第二级别是图表编辑，第三级别是从长表格生成图表。数据集包含多种图表类型和对应的任务。

原始信息汇总

Chart2Code 数据集概述

数据集简介

Chart2Code是一个用于评估多模态模型理解和生成数据可视化能力的层次化基准数据集，包含从图表到代码的转换任务。

数据规模

• 总任务数：2,023个
• 层级分布：
  • Level 1：863个任务
  • Level 2：1,010个任务
  • Level 3：150个任务
• 图表类型覆盖：
  • Level 1：22种图表家族
  • Level 2：19种图表家族
  • Level 3：12种图表家族

层级结构

Level 1：图表复现

测试模型根据参考图表和用户查询复现图表的基本能力

• level1_direct：无显式数据表的直接复现
• level1_customize：基于定制化文本格式表格数据的复现
• level1_figure：基于定制化图形格式表格数据的复现

Level 2：图表编辑

评估模型对现有图表执行复杂修改的能力，包括更改图表类型、添加/删除元素、修改样式等

Level 3：长表格到图表生成

最具挑战性的级别，要求模型解析信息密集的长表格（如Excel文件）并根据用户指令生成准确的图表

数据字段说明

以level3任务为例的数据字段：

• task_id：任务唯一标识符
• input excel：包含数据表的输入Excel文件路径
• input image：输入参考图像文件路径
• instruction：包含图表生成用户指令的文本文件路径
• GT code：生成图表的真实代码Python文件路径
• GT image：生成图表的真实图像文件路径
• source：数据表来源
• difficulty_score：人工标注的主观难度评级

数据获取

可通过以下命令下载完整评估数据： shell wget https://huggingface.co/datasets/CSU-JPG/Chart2Code/resolve/main/data.zip unzip data.zip

引用信息

bibtex @misc{tang2025chartscodehierarchicalbenchmark, title={From Charts to Code: A Hierarchical Benchmark for Multimodal Models}, author={Jiahao Tang and Henry Hengyuan Zhao and Lijian Wu and Yifei Tao and Dongxing Mao and Yang Wan and Jingru Tan and Min Zeng and Min Li and Alex Jinpeng Wang}, year={2025}, eprint={2510.17932}, archivePrefix={arXiv}, primaryClass={cs.SE}, url={https://arxiv.org/abs/2510.17932}, }

搜集汇总

数据集介绍

构建方式

在数据可视化与多模态智能交叉领域，Chart2Code基准数据集通过层次化设计构建了涵盖2023项任务的评估体系。该数据集采用三级渐进式架构：第一级聚焦基础图表复现，包含719种独特图表类型；第二级基于前级图表进行编辑指令扩展，生成1010项非重复修改任务；第三级则引入39个网络来源的长表格数据，衍生出85个原始图表与150条高难度生成指令。整个构建过程融合了人工标注与自动化流程，确保数据多样性与任务复杂性之间的平衡。

特点

作为多模态图表理解领域的前沿数据集，Chart2Code展现出显著的层次化特征与任务多样性。其核心优势体现在三级递进式任务设计中：从基础的图表复现到复杂的编辑操作，最终延伸至长表格数据解析生成。数据集覆盖22种图表家族类型，包含雷达图、热力图、散点图等丰富变体，且每个任务均配备真实场景下的用户指令、参考图像及可执行代码。特别值得注意的是，第三级任务通过引入网络长表格数据，模拟了现实世界中数据可视化的复杂需求，为模型能力评估提供了更贴近实际的应用场景。

使用方法

针对多模态模型评估需求，Chart2Code数据集提供了标准化的使用流程。研究者可通过官方提供的下载指令获取完整数据包，解压后按三级任务目录结构进行访问。数据集采用模块化组织方式，每个任务实例包含输入表格、参考图像、生成指令、真实代码及目标图像等核心字段。评估时可根据任务层级选择相应数据子集，通过比对模型生成代码与真实代码的执行结果，或直接对比生成图像与真实图像的相似度，系统性地衡量模型在图表理解与生成任务上的表现。数据集还提供难度标注字段，支持不同能力水平的模型进行分级测试。

背景与挑战

背景概述

在数据可视化与多模态智能交叉研究领域，Chart2Code数据集于2025年由中山大学等机构的研究团队共同构建，旨在系统评估多模态模型在图表理解与代码生成方面的能力。该数据集通过分层设计架构，涵盖图表复现、编辑转换及长表格图表生成三大核心任务，共包含2023个标注样本，涉及雷达图、热力图、散点图等22种图表类型。作为首个专注于图表到代码转换的层次化基准，该数据集为多模态大模型在数据可视化领域的性能评估提供了标准化测试框架，显著推动了智能图表生成技术的研究进程。

当前挑战

该数据集主要面临双重技术挑战：在领域问题层面，需要解决多模态模型对复杂图表结构的语义理解难题，特别是对长表格数据的特征提取与可视化逻辑转化；在构建过程中，标注团队需克服大规模图表数据的地面实况代码标注复杂性，尤其在Level3任务中，基于39个网络来源长表格生成150个指令时，需保证代码与视觉呈现的精确对应。此外，数据多样性维护与层次化难度设计也构成了重要的工程挑战，要求在不同图表家族间保持任务难度的一致性与可扩展性。

常用场景

经典使用场景

在数据可视化与多模态智能交叉领域，Chart2Code基准通过层次化任务设计系统评估模型对图表结构的解析能力。该数据集最经典的应用场景在于驱动多模态大模型从静态图表图像中提取语义信息，并转化为可执行的Python可视化代码，涵盖从基础图表复现到复杂长表格数据转换的全流程任务。

解决学术问题

该数据集有效解决了多模态理解中视觉-代码转换的评估难题，为研究社区提供了标准化测试框架。其意义在于突破了传统文本-图像生成任务的局限，通过引入代码生成维度，推动模型在数据语义理解、视觉元素解析和编程逻辑融合方面的突破性进展，显著提升了评估体系的科学性与完备性。

衍生相关工作

该基准已催生多模态代码生成领域的重要研究方向，包括基于注意力机制的图表结构解析网络、视觉-语言-代码三元对齐框架等创新工作。其层次化设计理念更被后续研究扩展至三维可视化、动态图表生成等新兴领域，形成以视觉编程智能为核心的技术演进脉络。