LVIS

LVIS是一个由Facebook AI Research (FAIR)开发的大型词汇实例分割数据集，旨在推动计算机视觉领域在处理大量类别和少量样本情况下的研究。该数据集包含约200万个高质量实例分割掩码，涵盖超过1000个基础物体类别，分布在164,000张图像中。由于自然图像中类别的Zipfian分布特性，LVIS自然地拥有一个长尾分布，其中许多类别只有少量训练样本。数据集的创建过程采用了一种迭代式的对象发现流程，旨在揭示图像中自然出现的长尾类别，并避免使用机器学习算法来自动化数据标注。LVIS数据集适用于研究大规模词汇实例分割方法，特别是在低样本学习方面的挑战，为科学研究和实际应用提供了重要的数据支持。LVIS is a large-vocabulary instance segmentation dataset developed by Facebook AI Research (FAIR), aimed at advancing computer vision research addressing scenarios with a large number of object categories and few-shot learning conditions. This dataset contains approximately 2 million high-quality instance segmentation masks, covering over 1,000 base object categories across 164,000 images. Due to the Zipfian distribution of categories in natural images, LVIS naturally features a long-tailed distribution, with many categories possessing only a limited number of training samples. The dataset was built via an iterative object discovery workflow, designed to reveal naturally occurring long-tailed categories in images while refraining from using machine learning algorithms for automated data annotation. The LVIS dataset is well-suited for research on large-vocabulary instance segmentation methods, especially the challenges in low-shot learning, and offers critical data support for both academic research and practical applications.

搜集汇总

数据集介绍

构建方式

LVIS数据集通过设计一个评估优先的构建原则，首先明确任务和评估方法，随后设计数据收集流程。数据集的构建始于无先验类别信息的图像集合，通过迭代式的对象发现过程，逐步揭示图像中自然出现的类别长尾分布。为了避免机器学习算法在数据标注中的应用，LVIS采用了众包标注流程，确保了高质量的实例分割掩码。该流程包括六个阶段：对象发现、实例标记、实例分割、分割验证、完整性验证和负样本标注。通过这种设计，LVIS不仅减少了标注工作量，还确保了标注的高质量，使其在边界一致性和掩码重叠度上优于COCO和ADE20K等数据集。

特点

LVIS数据集的核心特点在于其大规模词汇实例分割任务，涵盖了超过1000个类别，并包含约200万个高质量的实例分割掩码。数据集的类别分布呈现出典型的长尾效应，许多类别仅有少量训练样本，这为低样本学习提出了重要的科学挑战。此外，LVIS的标注质量显著高于现有数据集，掩码的边界一致性和重叠度均优于COCO和ADE20K。数据集的设计还采用了联邦数据集的概念，通过将多个小数据集联合起来，避免了全类别全图像的穷举标注，从而大幅降低了标注工作量。

使用方法

LVIS数据集适用于大规模词汇实例分割任务的研究，尤其是低样本学习场景。研究者可以使用该数据集训练和评估实例分割算法，特别是那些需要在类别长尾分布中表现良好的模型。数据集的评估采用COCO风格的平均精度（AP）指标，涵盖不同掩码交并比（IoU）阈值。为了公平评估，LVIS在测试时不会向算法透露图像所属的具体类别子集，要求算法对所有类别进行预测。此外，数据集还提供了详细的类别频率分布信息，帮助研究者更好地理解数据集的低样本特性，并设计相应的训练策略。

背景与挑战

背景概述

LVIS（Large Vocabulary Instance Segmentation）数据集由Facebook AI Research（FAIR）团队于2019年推出，旨在推动大规模词汇实例分割的研究。该数据集包含了超过1000个基础对象类别的约200万个高质量实例分割掩码，覆盖了16.4万张图像。LVIS的独特之处在于其自然的长尾分布，即许多类别在训练样本中极为稀少，这为当前最先进的深度学习方法带来了新的挑战。通过引入这一数据集，研究社区得以在处理大规模词汇实例分割任务时，探索如何从少量样本中有效学习，从而推动计算机视觉领域的发展。

当前挑战

LVIS数据集面临的主要挑战包括：首先，其长尾分布特性使得许多类别仅有少量训练样本，这对现有深度学习方法在低样本情况下的表现提出了严峻考验。其次，构建过程中需要处理大量类别和图像，确保每个类别的实例都能被充分标注，同时保持标注的高质量。此外，类别之间可能存在部分重叠、父子关系或同义关系，这增加了评估算法的复杂性，要求设计公平的评估协议。最后，如何在有限的标注资源下高效地完成大规模数据集的构建，也是LVIS面临的重要挑战。

常用场景

经典使用场景

LVIS数据集的经典使用场景主要集中在大型词汇实例分割任务中，尤其是在处理包含大量类别且类别分布呈现长尾效应的复杂场景时。该数据集提供了超过1000个类别的实例分割掩码，适用于研究如何在类别数据稀缺的情况下进行有效的实例分割。通过提供高质量的分割掩码，LVIS为研究人员提供了一个理想的平台，用于开发和评估能够处理长尾分布的算法。

衍生相关工作

LVIS数据集的发布催生了许多相关的经典工作，特别是在低样本学习和实例分割领域。研究人员基于LVIS数据集开发了多种改进的实例分割算法，以应对长尾分布的挑战。此外，LVIS还启发了对联邦学习方法的研究，通过将多个小数据集联合起来，解决了大规模类别标注的难题。这些工作不仅推动了实例分割技术的发展，也为其他领域的低样本学习问题提供了新的思路。

数据集最近研究

最新研究方向

LVIS数据集的最新研究方向主要集中在解决大规模词汇实例分割中的长尾问题。由于自然图像中类别的Zipfian分布，LVIS数据集包含了大量训练样本稀少的类别，这为当前最先进的深度学习目标检测方法带来了挑战。研究者们正致力于开发能够在低样本情况下有效学习的算法，以应对这一科学难题。此外，LVIS数据集的高质量实例分割掩码为算法评估提供了更为精确的基准，推动了实例分割和低样本学习领域的研究进展。

相关研究论文

• LVIS: A Dataset for Large Vocabulary Instance Segmentation

  Facebook AI Research (FAIR) · 2019年