m-a-p/SciMMIR

SciMMIR数据集是一个用于评估科学领域中多模态信息检索（MMIR）模型的基准数据集。该数据集包含537K科学图像-文本对，这些数据是从2023年5月至2023年10月的Arxiv论文中提取的。数据集采用了两个子集，五个子类别的数据层次结构，并使用人工创建的关键词对数据进行分类。数据集可以通过HuggingFace的Datasets库获取，并提供了示例代码展示如何使用数据集。

原始信息汇总

数据集概述

数据集配置

• 默认配置：
  • 训练集：路径为 data/train-*
  • 验证集：路径为 data/validation-*
  • 测试集：路径为 data/test-*

数据集信息

• 特征：

  • image：图像数据
  • file_name_index：字符串类型
  • text：字符串类型
  • class：字符串类型
  • super_class：字符串类型
  • sub_class：字符串类型
  • split：字符串类型

• 数据分割：

  • 训练集：
    • 字节数：59,242,453,844.635
    • 样本数：498,279
  • 验证集：
    • 字节数：1,783,636,593.843
    • 样本数：16,433
  • 测试集：
    • 字节数：1,874,022,111.346
    • 样本数：16,263

• 数据集大小：

  • 下载大小：63,729,889,852
  • 数据集大小：62,900,112,549.824005

搜集汇总

数据集介绍

构建方式

在科学多模态信息检索领域，现有基准数据集多聚焦于通用场景，缺乏针对科学文献的专业评估资源。为此，SciMMIR数据集应运而生，其构建过程严谨而系统：从Arxiv平台2023年5月至10月间最新发表的论文中，精心提取了约53.7万对科学图像-文本对。数据集采用独创的“两个子集、五个子类别”层次化架构，并借助人工创建的关键词对数据进行精细分类，确保了数据在科学领域内的专业性与结构化。这种构建方式不仅覆盖了丰富的科学主题，还为后续的模型评估提供了清晰的分类基准。

特点

SciMMIR数据集的核心特点在于其高度的科学领域针对性与层次化组织。数据全部源自最新的Arxiv论文，保证了内容的前沿性与时效性。其“双子集、五子类”的架构设计，使得数据在宏观与微观层面均具备清晰的语义划分，便于进行细粒度的信息检索研究。此外，数据集提供了详细的类别标签，包括class、super_class和sub_class，为多层级分析提供了可能。这些特点共同构成了一个全面、专业且结构化的科学多模态信息检索评估基准。

使用方法

使用SciMMIR数据集进行科学研究极为便捷。通过HuggingFace Datasets库，用户只需一行代码即可加载整个数据集，例如使用`datasets.load_dataset("m-a-p/SciMMIR")`命令。数据集已预先划分为训练集（约49.8万对）、验证集（约1.6万对）和测试集（约1.6万对），可直接用于模型训练与评估。每个样本包含图像、文本描述、类别标签及文件索引等信息，用户可根据研究需求灵活访问图像数据、文本描述或类别标注，从而高效开展多模态信息检索的相关实验与分析。

背景与挑战

背景概述

在科学文献爆炸式增长的当下，跨模态信息检索成为连接视觉与文本知识的关键桥梁。然而，现有检索基准多聚焦于通用领域，难以应对科学数据中高度专业化的图文关联需求。为填补这一空白，由吴思伟、李一智等来自多所高校与机构的研究人员于2024年提出了SciMMIR基准与数据集。该工作基于2023年5月至10月间Arxiv上最新论文，精心构建了涵盖53.7万对科学图像-文本对的数据资源，并定义了“两个子集、五个子类别”的层级架构，通过人工标注关键词实现精细分类。SciMMIR的诞生不仅为科学多模态信息检索提供了标准化评估平台，更推动了该领域从通用场景向专业学术场景的纵深拓展，其影响力正随着数据集的持续扩充而日益彰显。

当前挑战

SciMMIR数据集面临的核心挑战体现在双重维度。首先，在领域问题层面，科学多模态检索需应对图像类型的高度异质性——包括图表、实验装置图、显微图像等，每种类型均蕴含独特的语义逻辑，传统检索模型常因缺乏领域先验知识而表现欠佳。其次，在构建过程中，技术难点尤为突出：从Arxiv海量论文中自动提取图文对时，需克服跨页图文关联、模糊标注及噪声干扰等问题；人工分类关键词的制定需平衡粒度与通用性，避免子类别间语义重叠；此外，数据规模达537K对且持续扩展，对存储、索引及模型训练的效率提出了严峻考验。这些挑战共同构成了SciMMIR在推动科学检索进步时必须跨越的技术鸿沟。

常用场景

经典使用场景

在科学文献信息检索领域，SciMMIR数据集作为首个面向科学多模态信息检索的基准，其经典使用场景集中于评估和训练模型在科学图像与文本之间的跨模态检索能力。该数据集包含53.7万对从Arxiv最新论文中提取的科学图像-文本对，涵盖“两子集、五子类”的层级化数据架构，使得研究者能够系统性地测试模型在不同科学子领域（如实验结果图、示意图、表格等）中的检索性能。通过该基准，可以衡量模型在科学语境下对图文语义对齐的精细程度，为多模态检索模型在专业学术场景中的表现提供标准化评估框架。

解决学术问题

SciMMIR数据集解决了科学领域多模态信息检索缺乏高质量、大规模、结构化基准的学术困境。以往的多模态检索研究多聚焦于通用领域（如COCO、Flickr30K），难以反映科学文献中图像的高度专业性和语义复杂性。该数据集通过定义层级化分类体系，并引入人工标注的关键词，使得模型能够被精细化评估其在分子结构、实验装置、数据可视化等科学子类别上的检索能力。这不仅填补了科学多模态检索评估的空白，还为研究者提供了分析模型在细粒度科学概念上理解与匹配能力的工具，推动了跨模态学习在学术文献理解中的深入发展。

衍生相关工作

SciMMIR数据集的发布催生了多个相关经典工作。一方面，研究者基于该数据集提出了针对科学领域多模态检索的专用模型架构，如引入科学知识图谱增强的跨模态编码器，以及利用对比学习优化图文对齐的策略。另一方面，该数据集被用于评估大型多模态模型（如CLIP、BLIP）在科学场景下的零样本与微调性能，揭示了通用模型在处理专业科学图像时的局限性，进而推动了科学领域专用预训练模型的研发。此外，SciMMIR的层级化分类体系也启发了后续工作对科学图像进行更细粒度的语义划分，如将“实验结果图”进一步细分为曲线图、柱状图、热力图等子类别，从而深化了科学多模态理解的研究层次。