CHARGE

CHARGE是一个用于评估基于图表的多模态检索增强生成（Chart-based MRAG）的全面基准，它通过结构化的关键点提取、跨模态验证和基于关键点的生成来产生评估数据，并包含4738个问题-答案对，涵盖来自现实世界文档的8个领域。

CHARGE is a comprehensive benchmark for evaluating Chart-based Multimodal Retrieval-Augmented Generation (Chart-based MRAG). It generates evaluation data through structured key point extraction, cross-modal validation, and key point-based generation, and includes 4,738 question-answer pairs covering 8 domains from real-world documents.

原始信息汇总

CHARGE 数据集概述

概览

• 任务：Chart-based Multimodal Retrieval-Augmented Generation (MRAG)
• 目的：解决现有基准测试主要关注简单的图像-文本交互，而忽略了现实世界中常见的复杂视觉格式（如图表）的问题
• 方法：提出CHARGE框架，通过结构化的关键点提取、跨模态验证和基于关键点的生成来产生评估数据

数据集统计

• 总样本数：4,738
• 含图表的样本数：3,026
• 无图表的样本数：1,712

数据格式

• 每个样本包含字段：id（唯一标识符）、query（关于图表内容的问题）、gt_answer（问题的真实答案）、gt_chart（图表图像数据，如有）、gt_text（相关文本上下文）、gt_keypoints（从图表中提取的关键信息点）

数据结构

• 格式：HuggingFace datasets格式
• 结构：data/目录下的data-00000-of-00001.arrow文件包含所有样本

使用方法

• 加载数据集：使用load_dataset("ymyang/chart-mrag")
• 访问样本：通过索引访问，如dataset[0]
• 访问字段：question（问题）、answer（答案）、chart（图表数据）

数据集特点

1. 多模态内容：集成视觉（图表）和文本信息
2. 多样化问题类型：覆盖图表理解和解释的各个方面
3. 真实标注：包括仔细校对的答案和关键点
4. 标准化格式：遵循HuggingFace datasets规范，易于集成

引用

bibtex @article{yang2025benchmarking, title={Benchmarking Multimodal RAG through a Chart-based Document Question-Answering Generation Framework}, author={Yang, Yuming and Zhong, Jiang and Jin, Li and Huang, Jingwang and Gao, Jingpeng and Liu, Qing and Bai, Yang and Zhang, Jingyuan and Jiang, Rui and Wei, Kaiwen}, journal={arXiv preprint arXiv:2502.14864}, year={2025} }

许可

• 许可信息待添加

联系方式

• 问题与反馈：在仓库中提交issue

搜集汇总

数据集介绍

构建方式

CHARGE数据集的构建采用了一种半自动化的方法，通过结构化的关键点提取、跨模态验证以及基于关键点的生成，结合专家验证，从而产生了高质量的评估样本。此方法不仅确保了数据集的准确性，同时也提高了数据生成的效率。

特点

CHARGE数据集具有多模态内容融合、问题类型多样、包含精心策划的答案和关键点标注、遵循HuggingFace数据集标准格式等特点。这些特性使得该数据集在视觉与文本信息的整合、图表理解与解释等方面展现出其独特的优势。

使用方法

在使用CHARGE数据集进行研究时，可以通过HuggingFace的数据集加载工具轻松加载。用户可以访问样本中的不同字段，如问题、答案、图表图像数据以及相关文本上下文等，以便进行进一步的研究和开发。

背景与挑战

背景概述

CHARGE数据集的构建旨在推进多模态检索增强生成（MRAG）任务的发展，特别是在处理图表这类复杂视觉格式方面的应用。该数据集由杨宇明等人于2025年创建，并发表在arXiv预印本上。CHARGE的核心研究问题是提升机器在图表文档问答生成任务上的推理能力，这对于理解现实世界中大量存在的图表信息至关重要。该数据集的发布，为相关领域的研究提供了宝贵的资源，并推动了多模态学习的发展。

当前挑战

CHARGE数据集面临的挑战主要包括：1）当前统一的多模态嵌入检索方法在图表场景中表现不佳；2）即便在提供检索真实情况的情况下，最先进的机器学习模型在正确性和覆盖率指标上仍有较大提升空间；3）在图表为基础的MRAG推理过程中，模型表现出对文本模态的偏好。构建过程中，确保图表信息的准确提取与合理利用，以及多模态信息的有效融合，也是数据集构建者需要克服的技术挑战。

常用场景

经典使用场景

CHARGE数据集在多模态检索增强生成（MRAG）领域中被广泛用于评估和改进模型在处理图表文档问答任务上的性能。其经典使用场景涉及构建一个评价数据生成框架，通过结构化的关键点提取、跨模态验证以及基于关键点的生成方法，半自动化地生成高质量的评价样本，以供模型训练和测试。

衍生相关工作

基于CHARGE数据集，学术界和工业界已经衍生出一系列相关工作，包括但不限于改进多模态嵌入技术、提升图表问答模型的准确性和鲁棒性，以及开发新的跨模态验证算法，进一步推动了多模态内容处理技术的发展。

数据集最近研究

最新研究方向

CHARGE数据集针对多模态检索增强生成任务，特别是在图表数据方面的应用提出了新的研究方向。该研究通过构建一个基于图表的文档问答生成框架，不仅拓宽了多模态交互的领域，也针对现有方法在图表场景中的局限性进行了深入探讨。CHARGE数据集结合了结构化的关键点提取、跨模态验证以及基于关键点的生成方法，为评估图表多模态检索增强生成任务提供了全面基准，这对于提升机器在处理复杂视觉格式方面的能力具有重要意义。