mm-eval/CharXiv

--- dataset_info: features: - name: id dtype: string - name: media list: image - name: messages dtype: string splits: - name: validation num_bytes: 1755092154 num_examples: 5000 - name: test num_bytes: 2424876430 num_examples: 6615 download_size: 4174728874 dataset_size: 4179968584 configs: - config_name: default data_files: - split: validation path: data/validation-* - split: test path: data/test-* ---

搜集汇总

数据集介绍

构建方式

CharXiv数据集基于多模态智能体评估需求构建，收录了2323个丰富的图表问答样本。其中验证集包含1000个样本，测试集包含1323个样本，每个样本由独特的字符串标识符、关联的图像媒体文件以及结构化对话信息组成。数据存储采用parquet格式，通过分片文件组织，确保了大规模数据的高效加载与处理。

特点

该数据集聚焦于图表理解与推理这一核心任务，具有鲜明的多模态特性，每个样本同时包含视觉信息与文本对话。数据样本经过精心筛选，涵盖多样化的图表类型与复杂逻辑推理场景，能够全面评估智能体在图表解读、信息提取与多轮问答等维度的综合能力。

使用方法

研究人员可通过HuggingFace Datasets库直接加载该数据集，使用load_dataset('charxiv', split='validation')或split='test'获取对应分片。数据加载后，可遍历每个样本的id、media图像列表及messages对话文本，便于构建多模态智能体的训练与评测流程，支持灵活的分批处理与迭代实验。

背景与挑战

背景概述

CharXiv数据集于近期由研究机构创建，旨在推进多模态大语言模型在图表理解与推理能力上的评估。该数据集聚焦于科学图表（如线图、柱状图）的视觉与文本联合理解，核心研究问题在于如何衡量模型从复杂图表中提取数值、趋势及逻辑关系的能力。作为新兴基准，CharXiv填补了现有数据集在细粒度视觉推理任务上的空白，对推动AI在数据可视化、教育科技及科研辅助等领域的应用具有重要影响，尤其为评估模型超越简单识别、实现深度推理提供了标准化测试平台。

当前挑战

CharXiv所解决的领域挑战在于图表理解任务中模型对视觉元素与语义信息的整合不足，即传统图像描述或问答模式难以应对涉及多步骤推理与数值比较的复杂查询。构建过程中，挑战主要集中在数据采集与标注的高精度要求上，包括从科学文献中筛选多样化图表、确保图表与问题逻辑的一致性，以及规避标注者主观偏差对答案客观性的干扰。此外，验证集与测试集的规模控制也需平衡样本的代表性与评估的可靠性，以有效区分模型能力差异。

常用场景

经典使用场景

在多模态大语言模型（MLLM）飞速演进的背景下，CharXiv数据集应运而生，专门用于对视觉语言模型进行严格的细粒度视觉推理能力评测。不同于传统问答数据集，CharXiv通过构建图表理解任务，要求模型不仅识别图表中的文本与数字，更要理解其间复杂的空间、层级与逻辑关系。这一设计使得CharXiv成为评估MLLM在结构化视觉信息理解领域真实能力的标杆性测试集，广泛用于模型性能对比与鲁棒性分析。

衍生相关工作

围绕CharXiv数据集，研究者已衍生出多项经典工作。例如，基于其评测指标改进的视觉编码器设计，显著提升了图表元素的感知分辨率；另有一些工作探索了结合图表描述与数值推理的端到端训练范式，形成了如ChartQA、PlotQA等同类数据集的基础框架。此外，CharXiv还被用作多模态思维链（Chain-of-Thought）推理方法的验证平台，催生了一系列专注于结构化逻辑分解的模型架构创新。

数据集最近研究

最新研究方向

CharXiv数据集聚焦于多模态大语言模型在图表理解与推理能力上的前沿评估，其核心设计在于通过大量包含图像与文本交互的复杂问答对，系统性地检验模型对视觉化数据（如科学图表、经济曲线等）的语义解析与逻辑推断水平。该数据集在近期研究中被广泛用于揭示现有视觉语言模型在跨模态信息整合、数值敏感度以及因果推理等方面的瓶颈，尤其成为评估GPT-4V、Claude 3等先进模型是否具备真正的“图表智能”的关键基准。随着科研与工业界对AI辅助数据分析需求的激增，CharXiv为提升模型在自动报告生成、金融趋势解读乃至科学发现中的可靠性提供了重要试验场，其产出深刻影响着下一代多模态系统在真实世界决策场景中的应用效能与伦理边界。