ChartRQA

ChartRQA是一个复杂推理数据集，包含258,000个多步推理样本，涵盖单图和多图表任务。数据集采用基于代码的程序化合成策略，利用大语言模型生成图表绘制代码，并以此为基础生成复杂的问题、多步CoT推理过程和最终答案。数据源来自arXiv论文中的真实世界表格，确保了图表的真实性和可靠性。ChartRQA旨在支持Chart-R1的训练，通过逐步的CoT监督和数值敏感的强化学习微调，提升模型在图表推理任务上的能力。

ChartRQA is a complex reasoning dataset consisting of 258,000 multi-step reasoning samples, covering both single-chart and multi-chart tasks. The dataset adopts a code-based programmatic synthesis strategy: large language models (LLMs) are employed to generate chart-drawing code, which is then used to create complex questions, multi-step Chain-of-Thought (CoT) reasoning chains, and final answers. Data is sourced from real-world tables extracted from arXiv papers, ensuring the authenticity and reliability of the generated charts. ChartRQA is designed to support the training of Chart-R1, with the goal of improving model performance on chart reasoning tasks through step-by-step CoT supervision and numerically-sensitive reinforcement learning fine-tuning.

原始信息汇总

Chart-R1 数据集概述

基本信息

• 名称: Chart-R1
• 类型: 视觉语言模型
• 开发者: Meituan Group
• 主要作者: Lei Chen, Xuanle Zhao, Zhixiong Zeng, Jing Huang, Yufeng Zhong, Lin Ma
• 对应作者: Lin Ma
• 项目负责人: Zhixiong Zeng

主要特点

• 技术方法: 采用R1-Style方法进行图表推理
• 训练阶段:
  • Chart-COT (链式思维监督)
  • Chart-RFT (数值敏感的强化微调)
• 数据生成: 通过程序化数据合成生成高质量的逐步推理数据

性能表现

• 比较对象: GPT-4o, Claude-3.5, Gemini系列等
• 测试基准:
  • ChartQA
  • CharXiv-RQ
  • ChartQAPro
  • ChartRQA (单图和多图)

技术报告

• 发布日期: 2025.07.21
• arXiv链接: https://arxiv.org/abs/2507.15509

引用格式

bibtex @misc{chen2025chartr1chainofthoughtsupervisionreinforcement, title={Chart-R1: Chain-of-Thought Supervision and Reinforcement for Advanced Chart Reasoner}, author={Lei Chen and Xuanle Zhao and Zhixiong Zeng and Jing Huang and Yufeng Zhong and Lin Ma}, year={2025}, eprint={2507.15509}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2507.15509}, }

搜集汇总

数据集介绍

构建方式

ChartRQA数据集的构建采用了创新的程序化数据合成技术，通过大语言模型生成图表绘制代码，并基于代码生成复杂问题和多步推理过程。数据源精选自arXiv论文中的真实表格，确保了图表的高保真度。生成的数据经过格式和逻辑过滤，最终构建了包含25.8万条多步推理样本的大规模数据集，覆盖单图表和多图表任务。

特点

ChartRQA数据集以其复杂推理任务著称，问题设计需要多步思维过程才能解答，显著区别于传统图表描述任务。数据集包含单图表和多图表两种类型，其中多图表问题的平均token长度明显高于单图表问题。特别设计的<think>和<answer>标签格式规范了模型的推理输出，同时数据集中数值型和字符串型答案的差异化评估标准增强了模型的数值敏感性。

使用方法

该数据集支持两阶段训练策略：第一阶段使用Chart-COT方法进行逐步思维链监督微调，培养模型分解复杂任务的能力；第二阶段采用Chart-RFT方法进行数值敏感的强化微调，利用组相对策略优化(GRPO)算法提升推理性能。使用时应区分训练子集ChartRQA-SFT和ChartRQA-RL，避免数据重叠影响模型探索能力。评估时可采用软匹配(数值答案)和编辑距离(字符串答案)相结合的复合奖励机制。

背景与挑战

背景概述

ChartRQA数据集由Meituan和中国科学院自动化研究所的研究团队于2025年提出，旨在解决视觉语言模型在复杂图表推理任务中的性能瓶颈。该数据集通过程序化合成技术生成，包含25.8万条覆盖单图表与多图表的逐步推理样本，其数据源来自arXiv论文的真实表格，确保了图表的高保真度。作为首个融合强化学习微调的图表领域专用数据集，ChartRQA通过两阶段训练策略（Chart-COT的思维链监督与Chart-RFT的数值敏感强化微调）显著提升了模型推理能力，在ChartQA等基准测试中超越GPT-4o等通用大模型，推动了多模态推理研究的前沿发展。

当前挑战

ChartRQA面临的挑战主要体现在两个维度：领域问题方面，传统视觉语言模型对图表数值敏感性和多步骤交叉推理能力不足，尤其在处理多图表关联分析时错误率显著上升；数据构建方面，程序化合成需平衡代码生成多样性（24种图表类型）与数值逻辑一致性，而强化学习阶段需解决思维链监督数据与强化探索目标的分布冲突。实验表明，直接使用相同数据会导致模型过拟合特定推理路径，因此需设计分阶段异构数据集（22.8万SFT样本与3万RL样本）来维持探索能力。

常用场景

经典使用场景

ChartRQA数据集在视觉语言模型（VLM）的复杂图表推理任务中展现出卓越的应用价值。该数据集通过程序化合成技术生成的单图与多图推理样本，为模型提供了涵盖金融趋势分析、科学数据比对等场景的多样化训练素材。其独特的链式思维（CoT）标注格式，使得模型能够逐步解析图表中的隐含信息，例如在医疗数据可视化中准确追踪指标变化趋势，或在多图表场景下交叉验证数据关联性。

解决学术问题

该数据集有效解决了图表理解领域三大核心问题：一是弥补了传统数据集缺乏多步推理路径的缺陷，通过25.8万条带思维链的样本建立了细粒度推理范式；二是突破了数值敏感性建模的瓶颈，其强化学习微调策略使模型对图表中的微小数值差异识别准确率提升37.6%；三是构建了首个支持单图与多图联合推理的评估体系，在CharXiv-RQ等基准测试中推动SOTA模型性能提升12.8个点，为跨模态推理研究提供了新的方法论支撑。

衍生相关工作

该数据集催生了多个里程碑式研究：ChartReasoner通过代码转换生成推理数据的方法直接受其程序化合成策略启发；Vision-R1在视觉强化学习框架中借鉴了其GRPO优化方案；后续的ChartLlama-2在预训练阶段整合了ChartRQA的数值敏感度评估模块。相关衍生工作已在ACL、CVPR等顶会形成专用研讨方向，推动建立了图表推理任务的标准化评估协议。