Cityscapes-Panoptic-Parts, PASCAL-Panoptic-Parts

本研究介绍了两个创新数据集：Cityscapes-Panoptic-Parts和PASCAL-Panoptic-Parts，旨在提升图像场景理解能力。这两个数据集均支持全景分割标注，并针对特定语义类别提供部分级别标签。Cityscapes-Panoptic-Parts扩展自Cityscapes数据集，增加了23个部分级别类别的手动标注，而PASCAL-Panoptic-Parts则是通过合并PASCAL-Parts和PASCAL-Context数据集创建，涵盖了80个语义类别和20个实例类别。这些数据集通过统一的标注协议和格式，支持多级图像理解任务，如语义分割、实例分割和对象检测，适用于解决复杂环境中的对象识别和解析问题。

This study introduces two novel datasets: Cityscapes-Panoptic-Parts and PASCAL-Panoptic-Parts, which are designed to enhance image scene understanding capabilities. Both datasets support panoptic segmentation annotation and provide part-level labels for specific semantic categories. Cityscapes-Panoptic-Parts is extended from the Cityscapes dataset, with manual annotations added for 23 part-level categories. In contrast, PASCAL-Panoptic-Parts is created by merging the PASCAL-Parts and PASCAL-Context datasets, covering 80 semantic categories and 20 instance categories. These datasets adopt a unified annotation protocol and format, supporting multi-level image understanding tasks such as semantic segmentation, instance segmentation, and object detection, and are applicable to solving object recognition and parsing problems in complex environments.

原始信息汇总

数据集概述

数据集介绍

数据集名称

• Cityscapes-Panoptic-Parts
• PASCAL-Panoptic-Parts

数据集来源

这两个数据集是通过扩展两个已建立的图像场景理解数据集创建的：

• Cityscapes
• PASCAL

数据集描述

详细的描述和各种统计数据在技术报告中提供，链接如下：

• 技术报告

数据集下载链接

• Cityscapes Panoptic Parts
• PASCAL Panoptic Parts（备用链接，提取码：i7ap）

数据集示例

更多示例请参见这里。

评估指标

我们提供两种评估Panoptic Parts数据集性能的指标：

• Part-aware Panoptic Quality (PartPQ)：详细信息
• Intersection over Union (IoU)：待定（TBA）

引用

如果您发现我们的工作有用或在您的研究中使用，请引用我们：

bibtex @inproceedings{degeus2021panopticparts, title = {Part-aware Panoptic Segmentation}, author = {Daan de Geus and Panagiotis Meletis and Chenyang Lu and Xiaoxiao Wen and Gijs Dubbelman}, booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, year = {2021} }

bibtex @article{meletis2020panopticparts, title = {Cityscapes-Panoptic-Parts and PASCAL-Panoptic-Parts datasets for Scene Understanding}, author = {Panagiotis Meletis and Xiaoxiao Wen and Chenyang Lu and Daan de Geus and Gijs Dubbelman}, type = {Technical report}, institution = {Eindhoven University of Technology}, date = {16/04/2020}, url = {https://github.com/tue-mps/panoptic_parts}, eprint={2004.07944}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，场景理解任务日益复杂，对多层次标注数据的需求愈发迫切。Cityscapes-Panoptic-Parts与PASCAL-Panoptic-Parts数据集的构建，基于现有成熟数据集进行扩展与融合。Cityscapes-Panoptic-Parts通过人工标注方式，为Cityscapes数据集中的5个语义类别（人、骑行者、汽车、卡车、巴士）增添了23个部件级标签，采用团队协作标注流程，结合后处理技术确保与原始标注的无冲突整合，平均每幅图像仅需额外7分钟标注时间。PASCAL-Panoptic-Parts则通过系统化合并策略，将PASCAL-Context的语义标注与PASCAL-Parts的实例及部件标注融合，构建出包含100个语义类别、20个实例类别及193个部件类别的统一标注体系，有效解决了跨数据集标注冲突问题。

特点

这两个数据集的核心特征在于其层次化标注体系，每个像素均包含语义、实例与部件三个层次的标签信息。Cityscapes-Panoptic-Parts专注于城市场景，提供针对行人及车辆类别的精细化部件标注，如人体的躯干、四肢及车辆的窗户、车轮等，填补了城市场景部件级全景分割数据的空白。PASCAL-Panoptic-Parts则涵盖更广泛的日常场景，其标注体系兼容全景分割任务，同时保留了PASCAL-Context丰富的语义类别与PASCAL-Parts细致的部件标注，通过智能合并策略最大化标注信息的完整性。数据集采用紧凑的七位数字编码格式，将多层次标签统一存储于单文件中，既确保兼容性又便于扩展。

使用方法

研究者可利用这两个数据集开展多层次场景理解任务，包括语义分割、实例分割、全景分割及部件级分割。数据集提供的统一标注格式允许用户根据需要灵活提取不同层次的标签信息。对于算法开发，可基于层次化标注设计端到端的多任务学习模型，或针对特定层次（如部件识别）进行专项研究。数据集中存在的类别不平衡问题（如某些部件像素极少）也为开发鲁棒算法提供了挑战性测试环境。官方发布的代码工具支持标注处理与可视化，便于快速开展实验。数据集适用于评估模型在复杂场景下的细粒度理解能力，推动全景分割与部件分析领域的算法进步。

背景与挑战

背景概述

在计算机视觉领域，场景理解是推动自动驾驶、机器人感知等应用发展的核心任务。2020年，埃因霍温理工大学与阿姆斯特丹大学的研究团队推出了Cityscapes-Panoptic-Parts与PASCAL-Panoptic-Parts数据集，旨在通过统一的层次化标注框架，解决全景分割与部件级细粒度解析的融合问题。该数据集基于经典的Cityscapes与PASCAL VOC数据集构建，不仅保留了原始数据的语义与实例标注，还创新性地引入了针对人、车辆等类别的部件级标签，从而实现了从整体场景到局部细节的多层次理解。这一工作为复杂环境下的视觉算法提供了更丰富的训练与评估资源，显著推动了细粒度视觉分析领域的研究进展。

当前挑战

该数据集致力于解决细粒度全景分割这一前沿问题，其核心挑战在于如何统一不同层次的视觉标注，并处理部件级识别中的极端类别不平衡与标注歧义。在构建过程中，研究团队面临多重困难：一是需要设计高效的标注流程，以平均每张图像仅增加7分钟的成本，将部件标注无缝集成到现有数据中；二是必须解决多源数据集合并时的冲突，例如PASCAL-Panoptic-Parts中语义标签与实例标签的重叠问题；三是针对小尺寸目标或模糊部件，需制定策略以保持标注一致性，避免因标注困难导致的数据偏差。这些挑战凸显了细粒度视觉理解在实践中的复杂性。

常用场景

经典使用场景

在计算机视觉领域，场景理解任务正朝着更精细化的方向发展。Cityscapes-Panoptic-Parts与PASCAL-Panoptic-Parts数据集通过提供语义、实例及部件级别的多层次标注，为全景分割与部件级解析任务奠定了基准。这些数据集尤其适用于复杂城市场景与日常场景中，对车辆、行人等目标进行细粒度部件识别的研究，例如在自动驾驶系统中精确解析车辆的车窗、车轮、车牌等部件，或在人体解析中区分头部、躯干、四肢等部位。

衍生相关工作

基于这些数据集，学术界涌现了一系列经典工作，主要集中在全景部件分割网络的架构设计上。例如，研究者提出了端到端的层次化模型，能够同时输出语义、实例与部件分割结果；另有工作探索了多任务学习框架，利用数据集的统一标注联合优化不同层次的分割任务。这些衍生研究不仅推动了细粒度视觉解析技术的进步，也为实例级部件解析、层次化场景理解等新任务提供了算法基础与评估标准。

数据集最近研究

最新研究方向

在计算机视觉领域，场景理解正朝着更精细化和层次化的方向发展。Cityscapes-Panoptic-Parts与PASCAL-Panoptic-Parts数据集的推出，标志着全景分割与部件级解析的深度融合成为前沿热点。这些数据集通过整合语义、实例及部件三级标注，为复杂环境下的细粒度物体解析提供了统一基准，推动了自动驾驶、机器人感知等应用中对物体结构理解的深化研究。当前，基于这些数据集的探索主要集中在处理部件类别极端不平衡、跨层级特征融合以及弱监督学习等挑战上，旨在提升模型在真实场景中的鲁棒性与泛化能力。

相关研究论文

• Cityscapes-Panoptic-Parts and PASCAL-Panoptic-Parts datasets for Scene Understanding

  埃因霍温理工大学 阿姆斯特丹大学 · 2020年