alexshengzhili/SciGraphQA-295K-train

SciGraphQA是一个大规模合成的多轮问答数据集，专注于科学图表。它包含来自29万篇学术论文的29.5万个样本，这些样本是关于图表的开放词汇多轮问答对话。数据集通过使用Palm-2 API生成，基于包括论文标题、摘要、图表说明和提及图表的段落在内的丰富文本上下文。

原始信息汇总

数据集概述

数据集描述

• 名称: SciGraphQA
• 类型: 大型合成多轮问答数据集，专注于科学图表。
• 样本数量: 295,000个样本
• 数据来源: 来自290,000篇学术论文的图表、标题、段落和元数据，主要集中在计算机科学和机器学习领域。
• 语言: 英语

数据集结构

数据实例

• 包含内容:
  • 论文标题
  • 论文摘要
  • 图表标题
  • 提及图表的段落
  • 多轮问答对话（平均2.23轮）

数据字段

• title: 论文标题
• abstract: 论文摘要
• caption: 图表标题
• paragraph: 提及图表的段落
• questions: 问题字符串列表
• answers: 答案字符串列表

数据分割

• 训练数据: 295,000个样本
• 验证数据: 无
• 测试数据: 3,000个样本

数据集创建

来源数据

• 数据收集: 使用PDFFigures 2.0提取图表，使用正则表达式和启发式规则提取标题和段落。
• 语言生产者: 计算机科学和机器学习领域的研究人员。

注释

• 注释过程: 使用Palm-2对话API生成多轮问答对话，通过GPT-4验证质量。
• 注释者: Palm-2，由Anthropic开发的AI系统。

使用数据注意事项

• 社会影响: 数据集包含合成对话，涉及科学图表和相关元数据，来自公开学术论文，社会风险最小。
• 偏见讨论: 对话反映Palm-2系统的特性和限制，以及学术源材料的固有偏见。
• 其他已知限制: 数据集专注于计算机科学和机器学习论文，其他领域的科学图表性能可能不同。

附加信息

• 数据集维护者: Shengzhi Li, Nima Tajbakhsh
• 许可证: MIT许可证
• 贡献方式: 欢迎通过GitHub仓库提交问题或拉取请求进行贡献。

搜集汇总

数据集介绍

构建方式

在科学文献日益增长的背景下，图表作为知识传递的核心载体，其理解与推理能力对多模态人工智能系统至关重要。SciGraphQA-295K-train 数据集应运而生，旨在填补科学图表多轮问答数据集的空白。该数据集构建自约29万篇来自ArXiv的计算机科学与机器学习领域学术论文，通过PDFFigures 2.0工具提取图表，并利用正则表达式与启发式规则获取标题、摘要、图注及提及图表的段落。在此基础上，借助Palm-2对话API，以丰富的文本上下文为条件，自动生成开放词汇的多轮问答对话，最终形成包含29.5万样本的大规模合成数据集，平均每段对话包含2.23轮交互。

使用方法

使用SciGraphQA-295K-train数据集时，研究者可将其直接用于训练和评估多模态大模型在科学图表问答任务上的性能。数据以Hugging Face Datasets格式提供，包含image_file、id、caption、conversations等字段，其中conversations字段存储了对话角色与内容，便于构建端到端的视觉语言模型。建议将训练集（29.5万样本）与测试集（3000样本）结合使用，以进行完整的模型训练与评测。用户需注意数据集聚焦于计算机科学与机器学习领域，跨领域应用时可能需要额外适配。

背景与挑战

背景概述

在科学文献日益增长的背景下，图表作为知识浓缩的载体，其自动理解与问答成为人工智能领域的前沿挑战。SciGraphQA数据集由Shengzhi Li与Nima Tajbakhsh于2023年创建，依托ArXiv上29万篇计算机科学与机器学习论文，利用Palm-2 API生成约29.5万组多轮问答对话。该数据集聚焦于开放词汇的科学图表视觉问答，旨在弥补现有基准在图表多模态推理上的不足，为评估与训练大型多模态模型提供了规模化、高质量的语料资源，显著推动了科学图表理解领域的研究进展。

当前挑战

SciGraphQA所应对的核心挑战在于科学图表的复杂语义解析与多轮交互理解：图表中蕴含的数值趋势、结构关系及领域术语要求模型具备跨模态对齐与逻辑推理能力，而现有视觉语言模型常在此类精细任务上性能有限。构建过程中，挑战体现为从海量PDF中精准提取图表、标题与上下文段落，并确保自动生成的问答对话兼具多样性与准确性，为此研究者采用PDFFigures 2.0与正则规则进行数据清洗，并通过GPT-4评估子集以验证质量，平衡了规模与可靠性间的矛盾。

常用场景

经典使用场景

SciGraphQA数据集最经典的使用场景在于推动科学图表的多模态对话理解研究。该数据集包含从近29万篇计算机科学与机器学习领域学术论文中提取的图表，并配以标题、摘要、图注及上下文段落等丰富文本信息。通过Palm-2 API自动生成的多轮问答对话，研究者能够训练和评估模型在开放词汇条件下对科学图表进行复杂推理的能力。这一场景尤其适合检验多模态大语言模型在视觉与文本信息融合、上下文依赖关系捕捉以及多轮对话连贯性维持等方面的表现，为科学文献的自动化理解提供了坚实的基准平台。

解决学术问题

该数据集有效解决了科学图表问答领域缺乏大规模、高质量、多轮对话标注数据的关键学术难题。传统数据集往往规模有限、标注单一或仅支持单轮问答，难以支撑复杂多模态模型的训练与评估。SciGraphQA通过自动化生成295K样本的多轮对话，并利用GPT-4进行质量验证，显著提升了数据的丰富性与可靠性。这一创新为研究者提供了探索图表级视觉问答、跨模态对齐、知识推理等前沿问题的宝贵资源，推动了多模态学习在学术文献理解中的理论进展，并启发了后续关于合成数据质量控制和领域适配策略的研究。

实际应用

在实际应用中，SciGraphQA数据集的核心价值在于赋能科学文献的智能辅助系统。基于该数据集训练的模型能够理解并回答关于论文图表的复杂问题，例如数据趋势分析、实验结果比较或统计指标解读。这种能力可被集成到学术搜索引擎、文献管理工具或智能写作助手之中，帮助研究人员快速提取图表中的关键信息，提升文献综述与实验复现的效率。此外，该数据集还可用于开发面向教育领域的科学图表自动讲解系统，降低非专业读者理解学术论文的门槛，促进科学知识的广泛传播与普及。

数据集最近研究

最新研究方向

当前，科学图表理解与多模态问答已成为人工智能领域的前沿热点，尤其在学术文献自动解析与知识挖掘中展现出巨大潜力。SciGraphQA-295K-train数据集应运而生，它基于29万篇计算机科学与机器学习领域的ArXiv论文，通过Palm-2 API自动生成包含标题、摘要、图表标题及提及段落的多轮问答对话，共计29.5万样本，平均每轮对话2.23个回合。该数据集聚焦于科学图表的多模态推理与开放词汇问答，为训练和评估大规模模型在学术图表理解任务上的表现提供了标准化基准。其合成数据生成策略有效缓解了人工标注成本高、规模小的问题，推动了从静态图表识别向动态语义交互的范式转变。这一研究方向与近期大语言模型在多模态理解、科学文献自动化处理等热点事件紧密相连，为构建更智能的学术助手和知识图谱系统奠定了关键数据基础，具有重要的学术价值与应用前景。