PartImageNet

PartImageNet是由约翰霍普金斯大学等机构创建的大型高质量数据集，包含约24,000张来自ImageNet的图像，涵盖158个类别。该数据集独特之处在于提供了非刚性和关节对象的精细部分级标注，规模远超现有同类数据集。创建过程经过精心设计，确保标注的高质量和一致性。PartImageNet适用于多种视觉任务，如对象分割、语义部分分割、少样本学习和部分发现，旨在通过部分级模型提升对象识别和分割的性能，以及支持下游任务如活动识别。PartImageNet is a large-scale high-quality dataset created by institutions including Johns Hopkins University and other research organizations, containing approximately 24,000 images sourced from ImageNet across 158 categories. What sets this dataset apart is its provision of fine-grained part-level annotations for non-rigid and articulated objects, with a scale that far surpasses existing analogous datasets. Its development process was meticulously engineered to guarantee high annotation quality and consistency. PartImageNet is applicable to a wide range of computer vision tasks, including object segmentation, semantic part segmentation, few-shot learning, and part discovery. It aims to enhance the performance of object recognition and segmentation via part-level models, as well as support downstream tasks such as activity recognition.

原始信息汇总

PartImageNet: 一个大型高质量的部件数据集

数据集更新

PartImageNet数据集现在提供两种分割方式：

• PartImageNet_OOD：用于论文中的Few-shot Learning实验（第4.3节）。在这个分割中，训练/验证/测试集包含不同的类别，适合进行分布外和Few-shot Learning问题的研究。（这也是最初发布的分割方式。）
• PartImageNet_Seg：用于论文中的语义部件分割和对象分割（第4.1节和第4.2节）。在这个分割中，训练/验证/测试集共享相同的类别但包含不同的图像，类似于标准数据集。它也被用于Compositor: Bottom-up Clustering and Compositing for Robust Part and Object Segmentation。

数据集介绍

PartImageNet是一个包含部件分割标注的大型高质量数据集。它包含来自ImageNet的158个类别，约24,000张图像。这些类别被分为11个超级类别，部件分割是根据超级类别设计的，如下表所示。类别名称后的括号中的数字表示该类别的总类别数。

类别	标注的部件
四足动物 (46)	头, 身体, 脚, 尾巴
双足动物 (17)	头, 身体, 手, 脚, 尾巴
鱼类 (10)	头, 身体, 鳍, 尾巴
鸟类 (14)	头, 身体, 翅膀, 脚, 尾巴
蛇类 (15)	头, 身体
爬行动物 (20)	头, 身体, 脚, 尾巴
汽车 (19)	车身, 轮胎, 侧镜
自行车 (6)	头, 车身, 座椅, 轮胎
船 (4)	车身, 帆
飞机 (2)	头, 机身, 机翼, 发动机, 尾巴
瓶子 (5)	身体, 口

训练/验证/测试集的统计信息如下：

分割	类别数	图像数
训练	109	16540
验证	19	2957
测试	30	4598
总计	158	24095

可能的应用

PartImageNet具有广泛的应用潜力，可以促进多个研究领域的发展，我们在论文中简单探索了其在部件发现、Few-shot Learning和语义分割中的应用。我们希望随着PartImageNet的提出，能够吸引更多对基于部件模型的关注，并产生更多有趣的工作。

搜集汇总

数据集介绍

构建方式

PartImageNet数据集的构建基于ImageNet的158个类别，涵盖了从刚性到非刚性物体的广泛类别。数据集的构建过程包括从ImageNet中筛选出适合标注的图像，并根据WordNet层次结构将这些类别分组为11个超类别。为了确保标注的高质量和一致性，采用了多步骤的标注流程，包括初步筛选、像素级标注以及多层次的质量检查。标注团队分为标注员、检查员和审查员，确保每个步骤的准确性和一致性。

特点

PartImageNet数据集的显著特点在于其提供了高精度的像素级部件分割标注，涵盖了158个类别中的24,000张图像。与现有的部件数据集相比，PartImageNet不仅规模更大，而且涵盖了更多非刚性物体，如动物等。此外，该数据集的标注基于超类别，允许在需要时进一步细化为中层或类别级别的部件标签，提供了灵活的层次化标注结构。

使用方法

PartImageNet数据集可广泛应用于多种计算机视觉任务，包括物体分割、语义部件分割、少样本学习和部件发现等。研究者可以通过该数据集训练和评估模型，探索部件信息在不同任务中的应用潜力。例如，在物体分割任务中，部件标注可以作为深度监督信号，提升模型的分割性能；在少样本学习中，部件信息有助于模型在有限样本下的分类和分割任务。

背景与挑战

背景概述

PartImageNet是由约翰斯·霍普金斯大学、悉尼科技大学、字节跳动公司等机构的研究人员共同开发的一个大规模、高质量的部件分割数据集。该数据集于2021年提出，旨在解决计算机视觉领域中缺乏具有像素级部件标注数据集的问题。PartImageNet包含了来自ImageNet的158个类别，约24,000张图像，涵盖了非刚性和刚性物体，提供了精细的部件分割标注。该数据集的创建不仅推动了基于部件的模型研究，还为物体分割、语义部件分割、少样本学习和部件发现等任务提供了基准。PartImageNet的推出填补了现有数据集在通用类别部件标注方面的空白，尤其是对非刚性物体的标注，极大地促进了相关领域的研究进展。

当前挑战

PartImageNet在构建过程中面临诸多挑战。首先，像素级部件标注的复杂性和高成本使得此类数据集的创建极为困难，尤其是对非刚性物体的标注，需要确保标注的准确性和一致性。其次，部件分割任务本身具有较高的难度，尤其是在复杂背景、物体姿态变化和遮挡情况下，部件边界的定义和分割精度难以保证。此外，现有方法在处理部件分割时，往往依赖于无监督学习或半监督学习，缺乏足够的标注数据进行有效评估，导致模型性能受限。PartImageNet的推出旨在通过提供高质量的部件标注数据，推动基于部件的模型研究，解决上述挑战，并为未来的研究提供新的方向。

常用场景

经典使用场景

PartImageNet 数据集的经典使用场景主要集中在物体分割和语义部件分割任务中。通过提供高精度的像素级部件标注，该数据集能够帮助研究人员在非刚性物体和刚性物体的分割任务中取得显著进展。此外，PartImageNet 还广泛应用于小样本学习任务，通过部件级别的特征提取，提升模型在少量标注数据下的表现。

衍生相关工作

PartImageNet 数据集的发布催生了一系列相关研究工作。例如，基于该数据集的部件级分割算法研究，推动了语义分割和物体分割技术的进步。此外，小样本学习领域的研究者利用 PartImageNet 进行部件级别的特征提取，提升了模型在少量标注数据下的分类性能。这些研究不仅验证了部件级模型在不同任务中的有效性，还为未来的研究提供了新的思路和基准。

数据集最近研究

最新研究方向

近年来，基于部件的模型在计算机视觉领域引起了广泛关注，尤其是在物体识别和分割任务中。PartImageNet数据集的提出，填补了大规模、高质量部件级标注数据集的空白，尤其是在非刚性物体上的标注。该数据集不仅为物体分割和语义分割提供了丰富的训练样本，还为少样本学习和小样本学习任务提供了新的基准。通过引入部件级标注，研究者们能够更深入地探索物体部件与整体之间的关系，从而提升模型的泛化能力和解释性。此外，PartImageNet的推出也为未来的研究指明了方向，特别是在如何利用部件信息提升物体分割和少样本学习的性能方面，具有重要的理论和实践意义。

相关研究论文

• PartImageNet: A Large, High-Quality Dataset of Parts

  约翰霍普金斯大学 · 2022年