INST-IT Dataset

INST-IT Dataset是由复旦大学计算机科学学院创建的一个大规模多模态实例理解数据集。该数据集包含21,000个视频和51,000张图像，共计207,000个帧级注释，旨在提升大型多模态模型在实例级理解上的能力。数据集通过GPT-4o辅助的自动化注释管道生成，强调了实例级别的视觉提示。创建过程中，首先通过视觉提示突出感兴趣的实例，然后利用GPT-4o生成细粒度的多层次注释。该数据集主要应用于提升图像和视频中实例级理解的能力，旨在解决现有模型在处理特定实例细节时的不足。

The INST-IT Dataset is a large-scale multimodal instance understanding dataset developed by the School of Computer Science, Fudan University. This dataset contains 21,000 videos and 51,000 images, with a total of 207,000 frame-level annotations, and aims to enhance the instance-level understanding capabilities of large multimodal models. The dataset is generated via an automated annotation pipeline assisted by GPT-4o, with an emphasis on instance-level visual prompts. During its creation, visual prompts are first used to highlight instances of interest, followed by the generation of fine-grained, multi-level annotations via GPT-4o. This dataset is primarily applied to improve instance-level understanding of images and videos, and aims to address the shortcomings of existing models when handling specific instance details.

搜集汇总

数据集介绍

构建方式

INST-IT数据集通过一个由GPT-4o辅助的自动化标注流水线构建，旨在从图像和视频中提取实例级信息。该流水线首先使用实例级视觉提示（如Set-of-Marks）突出图像和视频中的感兴趣实例，然后利用GPT-4o生成细粒度的多层次标注，包括实例级描述、帧级描述、时间变化描述、视频级描述以及开放式问答对。这一过程确保了数据集在实例级理解上的深度和广度。

特点

INST-IT数据集的显著特点在于其专注于实例级理解，提供了对图像和视频中特定实例的详细标注。数据集不仅包含实例级的描述和变化，还涵盖了视频级和开放式问答对，这使得模型能够在空间和时间维度上进行更精细的理解和推理。此外，数据集的构建方法确保了标注的高质量和多样性，为多模态模型的训练提供了丰富的资源。

使用方法

INST-IT数据集主要用于增强多模态模型在实例级理解上的能力。研究者可以通过该数据集进行指令微调，以提升模型在处理图像和视频时的细粒度理解能力。具体使用方法包括将数据集与现有的指令微调数据结合，采用连续的指令微调训练范式，从而有效地增强模型在空间-时间实例理解上的能力。实验结果表明，使用该数据集训练的模型在多个通用图像和视频理解基准上均表现出色。

背景与挑战

背景概述

随着大型多模态模型（LMMs）在指令调优方面的显著进展，其在图像和视频的整体理解上取得了突破性成果。然而，现有模型在实例级理解方面仍面临挑战，这需要更为细致的认知和关联能力。实例级理解关注于我们最感兴趣的具体元素，因此具有至关重要的意义。为了解决这一问题，研究者们引入了由GPT-4o辅助的自动化标注流水线，通过显式的视觉提示从图像和视频中提取实例级信息。基于此流水线，提出了INST-IT数据集，旨在通过显式的视觉提示指令调优来增强LMMs的实例理解能力。该数据集不仅包含一个用于诊断多模态实例级理解的基准，还包括一个大规模的指令调优数据集和一个持续的指令调优训练范式，以有效提升现有LMMs的空间-时间实例理解能力。

当前挑战

构建INST-IT数据集面临的主要挑战包括：1) 解决实例级理解问题的复杂性，这要求模型具备对特定实例的细致认知和关联能力；2) 在构建过程中，自动化标注流水线的引入虽然提高了效率，但也带来了对GPT-4o模型依赖的挑战，以及确保标注准确性和多样性的问题。此外，数据集的构建还需要克服实例级信息提取的难度，以及在图像和视频中保持一致性和连贯性的挑战。

常用场景

经典使用场景

INST-IT数据集在多模态实例理解领域中扮演着关键角色，其经典使用场景主要集中在通过显式视觉提示指令调优来增强大型多模态模型（LMMs）的实例理解能力。该数据集通过提供详细的实例级信息，帮助模型在图像和视频中识别和理解特定元素，从而提升模型在实例级理解任务中的表现。

衍生相关工作

INST-IT数据集的推出激发了大量相关研究工作，特别是在多模态实例理解和视觉提示指令调优领域。例如，后续研究如SoM-LLaVA和ViP-LLaVA等，都借鉴了INST-IT的方法，通过视觉提示来引导模型关注特定实例，从而提升整体理解能力。此外，INST-IT的连续指令调优方法也被广泛应用于其他多模态模型的训练中，进一步推动了该领域的发展。

数据集最近研究

最新研究方向

在多模态模型（LMMs）领域，INST-IT数据集的最新研究方向聚焦于通过显式视觉提示指令调优来提升实例级理解能力。随着大型多模态模型在整体图像和视频理解上的显著进展，实例级理解这一更为细致且关键的能力仍待加强。现有的研究已表明，通过提供显式视觉线索，最先进的LMMs在实例理解方面展现出强大的潜力。因此，INST-IT数据集的研究致力于通过GPT-4o辅助的自动化标注流程，从图像和视频中提取实例级信息，进而构建一个大规模的指令调优数据集，以增强LMMs在时空实例理解上的能力。这一研究不仅提升了模型在特定基准上的表现，还显著增强了其在通用图像和视频理解任务中的整体能力。

相关研究论文

• Inst-IT: Boosting Multimodal Instance Understanding via Explicit Visual Prompt Instruction Tuning

  复旦大学计算机科学学院 · 2024年