ChartE$^{3}$

ChartE$^{3}$是一个端到端图表编辑的综合性基准测试，直接评估模型而不依赖于中间自然语言程序或代码级监督。它专注于两个互补的编辑维度：局部编辑，涉及细粒度的外观更改，如字体或颜色调整；全局编辑，需要整体、以数据为中心的转换，包括数据过滤和趋势线添加。ChartE$^{3}$包含通过精心设计的数据管道和人工策划构建的1,200多个高质量样本。每个样本以图表图像、其底层代码和多模态编辑指令的三元组形式提供，支持从客观和主观角度进行评估。

ChartE³ is a comprehensive benchmark for end-to-end chart editing that directly evaluates models without relying on intermediate natural language programs or code-level supervision. It focuses on two complementary editing dimensions: local editing, which involves fine-grained appearance modifications such as font or color adjustments; and global editing, which requires holistic, data-centric transformations including data filtering and trendline addition. ChartE³ comprises over 1,200 high-quality samples constructed via a meticulously designed data pipeline and human curation. Each sample is provided in the form of a triplet consisting of a chart image, its underlying source code, and multimodal editing instructions, enabling evaluations from both objective and subjective perspectives.

原始信息汇总

ChartE³ 数据集概述

数据集基本信息

• 数据集名称：ChartE³ (ChartE$^{3}$)
• 完整名称：ChartE$^{3}$: A Comprehensive Benchmark for End-to-End Chart Editing
• 数据许可协议：Apache-2.0
• 代码许可协议：Apache-2.0

数据集简介

ChartE³ 是一个端到端的图表编辑基准测试数据集，旨在直接评估模型性能，无需依赖中间的自然语言程序或代码级监督。该数据集专注于两个互补的编辑维度：

1. 局部编辑：涉及细粒度的外观更改，例如字体或颜色调整。
2. 全局编辑：需要整体的、以数据为中心的转换，包括数据过滤和趋势线添加。

数据集规模与构成

• 包含超过 1,200 个高质量样本。
• 每个样本以三元组形式提供：
  • 图表图像
  • 其底层代码
  • 多模态编辑指令
• 样本通过精心设计的数据流程并经过人工整理构建而成。

评估目标

该数据集支持从客观和主观两个角度对模型进行评估，揭示了当前最先进的多模态大语言模型在端到端图表编辑能力上存在的显著性能差距，尤其是在全局编辑任务上。

数据状态

• 项目创建于 2026年01月29日。
• 基准测试数据即将发布。

搜集汇总

数据集介绍

构建方式

在数据可视化领域，高质量基准数据集的构建对于推动端到端图表编辑技术发展至关重要。ChartE³数据集通过精心设计的数据流水线，结合人工审核流程，构建了超过1200个高质量样本。每个样本均以图表图像、底层代码及多模态编辑指令的三元组形式呈现，确保了数据的一致性与完整性。该构建方法不仅涵盖了局部编辑任务，如字体或颜色调整，还纳入了全局编辑任务，如数据筛选与趋势线添加，从而全面评估模型在细粒度与整体性编辑方面的能力。

特点

ChartE³数据集作为端到端图表编辑的综合性基准，其核心特点在于直接评估模型性能，无需依赖中间自然语言程序或代码级监督。数据集专注于局部与全局两个互补的编辑维度：局部编辑涉及外观的精细调整，而全局编辑则要求以数据为中心的整体转换。每个样本均提供图表图像、代码及多模态指令，支持从客观与主观双重视角进行评估，为模型能力提供了多维度的分析框架。

使用方法

该数据集旨在为端到端图表编辑模型提供标准化评估平台。研究人员可通过加载数据集中的三元组样本，将图表图像与多模态编辑指令输入模型，并对比模型输出与参考代码或图像，以量化编辑准确性。使用过程中，建议分别针对局部与全局编辑任务进行性能分析，从而揭示模型在不同编辑维度上的优势与局限。数据集支持客观指标计算与主观人工评估相结合的综合评测方法。

背景与挑战

背景概述

在数据可视化领域，图表作为信息传递的核心载体，其编辑能力直接关系到数据分析的效率和表达的准确性。ChartE³数据集由研究团队于2026年创建，旨在构建一个端到端的图表编辑基准，专注于评估模型在不依赖中间自然语言程序或代码级监督下的直接编辑性能。该数据集围绕局部编辑与全局编辑两个维度展开，前者涉及字体、颜色等细粒度外观调整，后者则需要完成数据筛选、趋势线添加等整体性数据转换。通过包含超过1200个高质量样本，ChartE³为多模态大语言模型提供了全面的评估框架，显著推动了图表智能编辑技术的发展，并对自动化数据分析和可视化工具产生了深远影响。

当前挑战

ChartE³数据集致力于解决端到端图表编辑这一复杂任务，其核心挑战在于模型需同时理解视觉图表结构、底层数据语义以及用户的多模态编辑指令，并生成精确的编辑结果。尤其在全局编辑任务中，模型必须进行数据驱动的推理与转换，现有技术在此表现出明显不足。在构建过程中，挑战主要集中于高质量样本的采集与标注，需要设计严谨的数据流水线并结合人工审核，以确保图表图像、对应代码与编辑指令三元组的一致性与多样性，同时避免引入偏差或噪声，这对数据集的规模与可靠性提出了较高要求。

常用场景

经典使用场景

在信息可视化与多模态人工智能交叉领域，ChartE³数据集为端到端图表编辑任务提供了标准化的评估基准。其经典使用场景集中于对多模态大语言模型进行系统性能力评测，研究者通过输入包含图表图像、底层代码及多模态编辑指令的三元组样本，要求模型直接执行局部外观调整或全局数据转换等操作，从而无需依赖中间自然语言程序或代码级监督即可检验模型对视觉语义与数据逻辑的联合理解能力。

解决学术问题

该数据集有效解决了图表编辑研究中长期存在的评估碎片化问题，通过构建超过1200个经人工校验的高质量样本，为端到端编辑任务建立了统一、严谨的评测框架。其意义在于首次将局部编辑（如字体颜色微调）与全局编辑（如数据过滤与趋势线添加）纳入同一评估体系，揭示了现有模型在数据驱动型全局转换任务上的显著性能瓶颈，推动了多模态推理技术在结构化视觉内容理解方面的理论深化与方法创新。

衍生相关工作

围绕ChartE³数据集，已衍生出一系列聚焦于多模态图表理解与编辑的经典研究工作。这些工作主要探索如何结合视觉编码器与语言模型的协同机制，以提升模型对图表结构语义的解析能力；同时，部分研究进一步扩展了数据集的评估维度，引入了对抗性样本或跨域迁移任务，推动了鲁棒性图表编辑算法的发展，并为视觉-语言预训练技术在结构化图形领域的应用开辟了新的研究方向。