MMAT-1M

MMAT-1M是一个百万规模的多模态代理调优数据集，旨在释放多模态大型语言模型在思维链推理、反思和动态工具利用方面的全部潜力。该数据集通过一个新颖的四阶段数据引擎构建：首先，策划带有问答对的公开多模态数据集；其次，利用GPT-4o为这些问答对生成理由，并通过多轮范式动态整合API调用和检索增强生成（RAG）信息；第三，通过反思精炼理由，确保逻辑一致性和准确性，形成带有理由和反思（RR）的多轮对话数据集；最后，可选择将多轮对话压缩为单轮理由和反思格式（ORR）以提高效率。

MMAT-1M is a multimodal agent tuning dataset of a million-scale, designed to unleash the full potential of multimodal large language models in chain-of-thought reasoning, reflection, and dynamic tool utilization. The dataset is constructed through a novel four-stage data engine: initially, planning public multimodal datasets with question-answer pairs; secondly, employing GPT-4o to generate rationales for these question-answer pairs and dynamically integrating API calls and retrieval-augmented generation (RAG) information through multi-round paradigms; thirdly, refining rationales through reflection to ensure logical consistency and accuracy, forming a multi-round dialogue dataset with rationales and reflection (RR); finally, optionally compressing multi-round dialogues into a single-round rationale and reflection format (ORR) to enhance efficiency.

原始信息汇总

MMAT-1M数据集概述

基本信息

• 名称: MMAT-1M
• 类型: 百万规模多模态代理调优数据集
• 设计目的: 释放多模态大语言模型在思维链推理、反思和动态工具利用方面的潜力
• 发布状态: 已发布（2025-07-17）
• 论文状态: 被ICCV 2025接收（2025-07-24）
• 论文标题: "A Large Reasoning Dataset for Multimodal Agent Tuning"
• arXiv版本: 已更新（2025-07-30）

数据集特点

• 规模: 百万级
• 数据构建方法: 四阶段数据引擎
  1. 从公开多模态数据集中筛选问答对
  2. 使用GPT-4o生成推理依据并动态整合API调用和RAG信息
  3. 通过反思优化推理依据确保逻辑一致性
  4. 可选将多轮对话压缩为单轮格式（ORR）
• 输出格式:
  • 多轮对话数据集（含Rationale和Reflection，RR）
  • 单轮压缩格式（ORR）

许可证信息

• 复合许可证: 整合多个来源数据，需遵守各原始许可证
  • Visual CoT: Apache 2.0（需署名）
  • LLaVA-CoT: Apache 2.0（需署名）
  • The Cauldron: 子集特定许可证 + CC-BY-4.0（商业使用需额外授权）
  • TabMWP: CC BY-NC-SA 4.0（仅限非商业用途）
  • Infoseek: Apache 2.0（需署名）

使用条款

• 责任限制:
  • 不保证单个数据样本的法律状态
  • 不对超出原始许可证条款的滥用行为负责
• 违规报告: 提供联系方式供举报许可证违规行为

相关资源

• 主页: https://MMAT-1M.github.io/
• Hugging Face数据集: https://huggingface.co/datasets/VIS-MPU-Agent/MMAT-1M
• arXiv论文: https://arxiv.org/abs/2507.21924

引用格式

bibtex @inproceedings{Gao2025MMAT1M, title={MMAT-1M: A Large Reasoning Dataset for Multimodal Agent Tuning}, author={Tianhong Gao and Yannian Fu and Weiqun Wu and Haixiao Yue and Shanshan Liu and Gang Zhang}, booktitle={Proceedings of ICCV}, year={2025}, }

搜集汇总

数据集介绍

构建方式

在构建MMAT-1M数据集时，研究团队采用了一种创新的四阶段数据引擎方法。首先，从公开可用的多模态数据集中精心筛选出带有问答对的内容；其次，利用GPT-4o的强大能力为这些问答对生成推理依据，并通过多轮对话范式动态整合API调用和检索增强生成（RAG）信息；随后，通过反思机制对推理依据进行精细化处理，确保逻辑一致性和准确性，最终形成一个包含推理和反思（RR）的多轮对话数据集；最后，为了提升效率，还可选择将多轮对话压缩为单轮推理和反思（ORR）格式。

特点

MMAT-1M数据集以其百万级的规模脱颖而出，专注于提升多模态大语言模型在思维链（CoT）推理、反思和动态工具利用方面的能力。该数据集不仅填补了多模态领域缺乏大规模高质量代理调优资源的空白，还通过引入多轮对话和反思机制，显著增强了模型的复杂推理能力。此外，数据集支持单轮和多轮两种格式，为研究者提供了灵活的使用选择。

使用方法

MMAT-1M数据集的使用方法多样且灵活。研究者可以通过Hugging Face平台直接访问数据集，并根据需求选择多轮对话（RR）或单轮压缩（ORR）格式进行实验。数据集适用于训练和评估多模态大语言模型在复杂推理任务中的表现，特别是在需要动态工具调用和检索增强生成的场景中。使用前需仔细阅读并遵守各源数据集的许可协议，确保合规使用。

背景与挑战

背景概述

MMAT-1M数据集由VIS-MPU-Agent团队于2025年7月发布，是一项针对多模态大语言模型推理能力优化的重要资源。该数据集由Tianhong Gao等研究人员在ICCV 2025会议上正式提出，旨在解决当前多模态领域缺乏大规模、高质量智能体调优数据的问题。通过创新的四阶段数据引擎构建，MMAT-1M整合了视觉CoT、LLaVA-CoT等多个知名数据源，专注于提升模型在思维链推理、反思机制和动态工具调用等方面的能力，为多模态智能体的研究与应用提供了关键支持。

当前挑战

MMAT-1M面临的挑战主要体现在两个维度：在领域问题层面，该数据集需要解决多模态推理中视觉-语言对齐、跨模态信息融合以及复杂任务分解等核心难题；在构建过程中，研究人员需处理来自不同源数据的异构授权协议（如CC-BY-NC-SA与Apache 2.0的兼容性问题），同时确保GPT-4o生成的推理链条既符合逻辑一致性又能动态整合API调用与检索增强生成技术。此外，将多轮对话压缩为单轮ORR格式时需平衡信息完整性与计算效率，这对数据质量控制提出了更高要求。

常用场景

经典使用场景

在人工智能领域，多模态推理任务一直是研究的热点与难点。MMAT-1M数据集以其百万级规模和多模态特性，为研究者提供了丰富的实验平台。该数据集最经典的使用场景在于训练和评估多模态大语言模型在复杂推理任务中的表现，特别是在链式思维（Chain-of-Thought）推理、反思能力以及动态工具调用等方面。通过其精心设计的四阶段数据引擎，MMAT-1M能够有效模拟真实世界中的多模态交互场景，为模型提供高质量的调优资源。

实际应用

MMAT-1M数据集在实际应用中展现出广泛的潜力。例如，在智能客服系统中，它可以用于训练模型理解和回应用户的多模态查询，提升交互的自然性和准确性。在教育领域，该数据集能够支持开发智能辅导系统，帮助学生通过多模态内容进行复杂问题的推理和学习。此外，在医疗诊断辅助系统中，MMAT-1M的多模态特性能够帮助模型结合图像和文本信息，提供更全面的诊断建议。

衍生相关工作

MMAT-1M数据集的发布，催生了一系列相关研究工作。例如，基于该数据集的链式思维推理方法在多模态任务中取得了显著进展。研究者们还开发了多种反思机制，进一步提升了模型的推理能力。此外，动态工具调用的引入，为多模态代理的实用性研究开辟了新的方向。这些衍生工作不仅丰富了多模态推理的理论体系，也为实际应用提供了更多可能性。