IMD-11

IMD-11数据集是由南京理工大学泰州科技学院等机构的研究团队创建，包含1,637,795条图像-文本对。该数据集通过Llama模型生成图像描述，旨在为多模态学习提供丰富的图像-文本对数据。数据集的内容涵盖了11个公共图像数据集，数据量庞大，适用于少样本图像分类任务。数据集的创建过程包括使用Llama模型生成图像描述，并通过对比学习进行预训练。IMD-11数据集的应用领域主要集中在计算机视觉和多模态学习，旨在通过图像和文本的互补信息提升模型在少样本分类任务中的表现。

The IMD-11 dataset was constructed by a research team from institutions including Taizhou College of Nanjing University of Science and Technology, and comprises 1,637,795 image-text pairs. Image captions are generated via the Llama model for this dataset, which aims to provide abundant image-text pair data to support multimodal learning research. The dataset covers 11 public image datasets, boasts a large-scale data volume, and is suitable for few-shot image classification tasks. The development process of the IMD-11 dataset includes generating image captions using the Llama model and conducting pre-training via contrastive learning. The primary application domains of the IMD-11 dataset are computer vision and multimodal learning, with the objective of enhancing model performance on few-shot classification tasks by leveraging the complementary information between images and texts.

搜集汇总

数据集介绍

构建方式

IMD-11数据集的构建基于多模态学习的需求，旨在增强图像与文本之间的互补信息。通过使用Llama模型，研究人员设计了一个全面的流程，为11个公开图像数据集中的每张图像生成文本描述。该流程首先为每个数据集定制文本提示，随后清理原始数据以减少任务无关的噪声，最后利用BART模型对文本描述进行总结，确保文本长度不超过CLIP文本编码器的最大输入长度。最终，IMD-11数据集包含了1,637,795个图像-文本对，涵盖了广泛的视觉任务。

使用方法

IMD-11数据集主要用于增强多模态模型在少样本图像分类任务中的表现。通过结合视觉特征和文本描述，研究人员可以利用该数据集训练或评估多模态适配器（如IDEA和T-IDEA）。具体而言，IMD-11可用于生成视觉和文本特征的相似性矩阵，从而在少样本分类任务中捕捉细粒度的语义关联。此外，数据集还可用于验证训练自由方法（如IDEA）和可训练方法（如T-IDEA）的性能，推动多模态学习领域的研究进展。

背景与挑战

背景概述

IMD-11数据集是由南京理工大学泰州科技学院、西交利物浦大学和杜克昆山大学的研究团队于2025年提出的，旨在增强CLIP模型在少样本图像分类任务中的表现。该数据集包含1,637,795个图像-文本对，涵盖了11个公开的图像数据集，如ImageNet、Caltech101等。IMD-11的创建基于Llama模型生成的图像描述，通过结合视觉特征和文本描述，IDEA（Image Description Enhanced CLIP-Adapter）方法能够在不进行额外训练的情况下，显著提升CLIP在少样本分类任务中的性能。该数据集的发布为多模态学习领域提供了宝贵的资源，推动了图像分类和视觉-语言模型的研究。

当前挑战

IMD-11数据集在构建和应用过程中面临多重挑战。首先，图像分类任务中的少样本学习问题尤为突出，如何在有限的样本下准确捕捉图像的细粒度特征是一个关键挑战。其次，数据集的构建过程中，生成高质量的图像描述需要克服图像内容复杂性和多样性的问题，尤其是在低分辨率或抽象图像上，文本描述的生成难度较大。此外，如何有效融合视觉和文本模态的信息，消除模态间的语义鸿沟，也是IMD-11数据集应用中的核心挑战。尽管IDEA和T-IDEA方法在少样本分类任务中表现出色，但在某些特定领域（如遥感图像分类）的性能仍有提升空间。

常用场景

经典使用场景

IMD-11数据集在多模态学习领域中被广泛应用于少样本图像分类任务。通过结合视觉特征和文本描述，该数据集能够有效捕捉图像与文本之间的细粒度语义关联，从而提升模型的分类性能。特别是在CLIP模型的适配器调优中，IMD-11通过引入图像描述信息，显著增强了模型在少样本场景下的泛化能力。

解决学术问题

IMD-11数据集解决了多模态学习中图像与文本信息未能充分利用的问题。传统方法往往仅关注视觉或文本单模态的优化，而IMD-11通过生成大量图像-文本对，提供了丰富的多模态信息，帮助模型更好地理解图像内容。该数据集在少样本分类任务中表现出色，显著提升了模型的零样本和少样本学习能力，推动了多模态学习领域的研究进展。

实际应用

IMD-11数据集在实际应用中具有广泛的潜力，特别是在需要快速适应新任务的场景中。例如，在医疗影像分析、自动驾驶和智能安防等领域，IMD-11可以通过少样本学习快速识别新类别的图像，减少对大量标注数据的依赖。此外，该数据集还可用于生成图像描述，辅助视觉障碍者理解图像内容，提升人机交互的智能化水平。

数据集最近研究

最新研究方向

近年来，多模态学习领域的研究重点逐渐从单一模态的优化转向多模态信息的深度融合。IMD-11数据集的提出，标志着图像与文本对在少样本图像分类任务中的应用迈出了重要一步。该数据集通过结合视觉特征与文本描述，显著提升了模型的细粒度特征捕捉能力。IDEA（Image Description Enhanced CLIP-Adapter）方法通过无训练的方式，利用图像与文本对的互补信息，实现了与现有最先进模型相媲美甚至超越的性能。T-IDEA（Trainable-IDEA）进一步引入了可学习的投影层和语义潜在空间，进一步提升了模型的性能，并在11个数据集上取得了SOTA（State-of-the-Art）结果。IMD-11数据集的发布为多模态学习领域提供了宝贵的资源，推动了少样本学习、零样本学习等前沿研究方向的发展，尤其是在图像分类、视觉问答等任务中展现了巨大的潜力。

相关研究论文

• IDEA: Image Description Enhanced CLIP-Adapter

  南京理工大学泰州科技学院, 西交利物浦大学, 昆山杜克大学 · 2025年