ali5341/arxivqa-chat-format

ArxivQA Chat-Format数据集是基于MMInstruction/ArxivQA的多模态聊天格式准备，用于监督微调（SFT）。该数据集采用聊天格式SFT数据、指令调优对话、OpenAI风格的消息格式以及多模态聊天格式（图像+文本）。原始数据集聚焦于基于arXiv论文图表的多模态多项选择QA，包含10万条示例，数据字段包括图像路径、选项、问题、标签和理由。数据准备过程中，跳过无效记录，标准化标签格式为选项字母（A/B/C/...），并包含可用的理由。每条记录包含用户消息（图像+文本）和助手回复（答案+理由）以及元数据（样本ID、图像路径、原始标签、标准化标签）。

The ArxivQA Chat-Format dataset is a multimodal chat-format preparation of ArxivQA for supervised fine-tuning (SFT). The dataset adopts chat-format SFT data, instruction-tuning conversations, OpenAI-style `messages` format, and multimodal chat format (`image` + `text`). The original dataset focuses on multimodal multiple-choice QA grounded in figures from arXiv papers, containing 100K examples with data fields including image path, options, question, label, and rationale. During preparation, invalid records are skipped, label formats are normalized to option letters (`A/B/C/...`), and available rationales are included. Each record contains user messages (`image` + `text`) and assistant responses (answer + rationale) along with metadata (sample id, image path, raw label, normalized label).

搜集汇总

数据集介绍

构建方式

本数据集为 ArxivQA 的多模态对话格式版本，专为监督式微调（SFT）设计，其构建过程严格遵循原始数据集 MMInstruction/ArxivQA 的结构。每条有效记录对应一个数据行，系统自动跳过图像缺失或标签无法解析的样本。针对原始标签中存在的多种噪声形式，采用直接字母解析、选项文本匹配及选项本体匹配等策略，将其统一规范化为选项字母（如 A/B/C），并在可用时保留推理过程。最终每条 JSONL 数据行包含消息序列，用户端提供图像与文本形式的题目及选项，助手端则输出选项字母及可选推理内容，同时附带样本 ID、图像路径与归一化标签等元信息。

使用方法

使用时，可直接加载 train.jsonl 与 validation.jsonl 文件进行监督式微调。每个样本的 messages 字段遵循标准对话结构，用户消息中嵌入了图像标识符与文本问题，助手消息为选项字母及可选推理。开发者可基于提供的 prepare_arxivqa_unsloth.py 脚本复现数据预处理流程，确保数据来源一致。该数据集适合用于训练多模态大语言模型的科学问答能力，尤其是在理解科学论文图表并进行推理选择的场景中，能够有效提升模型的多模态理解与指令遵循能力。

背景与挑战

背景概述

随着科学文献的快速增长，从学术论文中提取和理解视觉信息成为人工智能领域的重要挑战。ArxivQA数据集由MM-Arxiv项目团队于近年创建，旨在推动基于arXiv论文图表的多模态问答研究。该数据集包含约10万条样本，每个样本整合了图表、问题、选项及理性分析，为多模态大语言模型的指令微调提供了高质量资源。其影响力体现在：一方面，通过将科学视觉元素与自然语言结合，填补了科学领域多模态问答的数据空白；另一方面，以聊天格式重构，促进了监督微调（SFT）的实践应用，成为连接学术研究与实际模型训练的关键桥梁。

当前挑战

ArxivQA数据集旨在解决科学文献中视觉问答的领域问题，其挑战包括：首先，论文图表类型多样（如折线图、散点图、表格等），模型需理解图表语义与科学上下文，并过滤噪音标签以稳定回答。其次，构建过程中面临数据归一化难题，原始含多种噪音标签形式（如直接字符、选项文本匹配），必须设计解析逻辑统一为选项字母。此外，部分图片缺失或标签无法解析，需要严格筛选有效行，确保数据质量。同时，数据规模达10万例，高效处理复杂的多模态信息与选项匹配关系，对计算和标注一致性提出了高要求。

常用场景

经典使用场景

ArxivQA-Chat-Format数据集专为多模态大语言模型的监督微调而设计，其经典使用场景聚焦于科学文献中图表理解与问答任务。该数据集将来自arXiv论文的图表图像与对应的多选题问答对进行结构化整理，构建为符合OpenAI风格的多轮对话格式，使得研究者能够高效训练模型在学术图文场景下进行精准的视觉问答。通过将原始ArxivQA数据转化为指令微调所需的聊天格式，该数据集为提升模型在科学图像理解、选项推理及答案生成等核心能力提供了标准化的训练材料。

解决学术问题

该数据集旨在攻克多模态科学推理领域的若干关键学术难题。首先，它解决了科学文献中图表理解与文本问答之间语义对齐的挑战，通过提供大量包含图表、问题、选项及解释的标注样本，使模型学会从视觉元素中提取科学信息并进行逻辑推理。其次，它有效缓解了多模态大模型在专业科学领域缺乏高质量指令微调数据的问题，推动了视觉问答任务在学术场景下的进步。这一数据集的构建为评估和提升模型在科学图像理解、复杂推理及解释生成方面的能力奠定了重要基础，对促进人工智能在科学文献自动分析领域的发展具有深远意义。

实际应用

在实际应用中，ArxivQA-Chat-Format数据集可显著赋能多个重要场景。科研工作者可借助基于该数据集训练的模型，实现对学术论文插图（如实验图表、示意图、可视化结果）的自动问答和分析，从而加速文献调研与知识获取过程。在教育领域，该数据集可用于构建智能助学系统，帮助研究生和科研人员通过图文交互方式深入理解复杂科学概念。此外，该数据集还为科学出版平台提供了自动生成图表描述、辅助审稿以及知识检索等智能化功能的技术基础，显著提升学术交流效率。

数据集最近研究

最新研究方向

在当前多模态大模型蓬勃发展的浪潮中，ArxivQA Chat-Format数据集应运而生，它通过对原始ArxivQA数据进行对话格式的精细化重构，为科学文献领域中的视觉问答指令微调提供了高质量的训练资源。该数据集聚焦于arXiv论文图表的多选问答任务，其最新研究趋势主要集中于探索如何利用大语言模型的对话能力，将科学图表中的复杂信息以结构化问答的形式进行高效理解和推理。当前的前沿方向包括：基于多模态指令微调增强模型对学术论文中图表语义的捕获能力，例如通过构建包含图像与文本交替的对话序列，提升模型在科学论证场景下的逻辑连贯性；同时，该数据集也被广泛应用于跨模态对齐研究，即如何将视觉信息与自然语言描述进行深度耦合，以支持更为精准的选项分析和答案生成。值得注意的是，随着大模型在学术辅助工具中的渗透，ArxivQA Chat-Format正成为评估模型科学素养和图表推理能力的重要基准，对推动人工智能在科研文献自动化理解、知识问答系统构建等热点领域的发展具有显著意义。