PIDray-A 和 PIXray-A

PIDray-A 和 PIXray-A 是两个大规模的带有遮挡标注的X光图像分割数据集，旨在解决X光图像中禁止物品的实例分割问题。这两个数据集从PIDray和PIXray数据集中衍生而来，PIDray包含124,486张X光图像，其中47,677张包含12个类别的禁止物品。PIXray包含5,046张X光图像，其中包含15个类别的15,201个禁止物品。为了监督遮挡估计，研究人员手动标注了禁止物品的遮挡区域。这两个数据集为研究X光图像中禁止物品的分割提供了重要的基准。

PIDray-A and PIXray-A are two large-scale X-ray image segmentation datasets with occlusion annotations, designed to solve the instance segmentation task of prohibited items in X-ray images. These two datasets are derived from the PIDray and PIXray datasets. Specifically, PIDray contains 124,486 X-ray images, among which 47,677 images contain prohibited items belonging to 12 categories. PIXray includes 5,046 X-ray images, with a total of 15,201 prohibited items across 15 categories. To enable supervision of occlusion estimation, researchers manually annotated the occlusion regions of the prohibited items. These two datasets serve as important benchmarks for research on prohibited item segmentation in X-ray images.

原始信息汇总

数据集概述

基本信息

• 数据集名称: Prohibited Items Segmentation via Occlusion-aware Bilayer Modeling
• 相关论文: Arxiv链接
• 会议: IEEE International Conference on Multimedia and Expo (ICME) 2025
• 代码库: 官方PyTorch实现

数据集内容

• 数据集类型: 图像分割数据集（包含遮挡标注）
• 数据集格式: COCO格式
• 数据集版本:
  • PIDray-A
  • PIXray-A（已转换为COCO格式）

数据集获取

• 下载链接:
  • PIDray-A
  • PIXray-A

数据处理工具

• 标注转换工具: convert_occlusion_annotation.py
• 功能: 为COCO格式数据集生成遮挡标注

模型训练与测试

• 支持硬件:

  • 1 × NVIDIA A800 Tensor Core GPU
  • 8 × NVIDIA GeForce RTX 4090 GPUs

• 训练命令: bash

  PIDray-A

  CUDA_VISIBLE_DEVICES=0 bash ./tools/dist_train.sh configs/occlusion/pid.py 1

  PIXray-A

  CUDA_VISIBLE_DEVICES=0 bash ./tools/dist_train.sh configs/occlusion/pix.py 1

• 测试命令: bash

  PIDray-A

  bash ./tools/dist_test.sh configs/occlusion/pid.py {CHECKPOINT_FILE} {GPU_NUM}

  PIXray-A

  bash ./tools/dist_test.sh configs/occlusion/pix.py {CHECKPOINT_FILE} {GPU_NUM}

预训练模型

• 下载链接: Checkpoints

依赖项

• 主要框架: PyTorch 2.1.2 + CUDA 11.8
• 关键库:
  • numpy<2.0.0
  • mmcv==2.1.0
  • transformers==4.38.1
  • pycocotools
  • shapely

致谢

• 基于以下项目构建:
  • RSPrompter
  • MMDetection

搜集汇总

数据集介绍

构建方式

PIDray-A和PIXray-A数据集的构建基于大规模X射线图像分割数据集PIDray和PIXray，通过人工标注的方式增加了额外的遮挡信息。具体而言，研究人员首先识别出被其他物品遮挡的违禁物品，并记录这些遮挡区域的语义掩码作为额外的标注信息。这一过程确保了数据集在保持原有图像数量的基础上，增加了对遮挡关系的精确标注，从而为遮挡感知的实例分割任务提供了丰富的监督信号。

特点

PIDray-A和PIXray-A数据集的主要特点在于其针对X射线图像中违禁物品的遮挡关系进行了详细标注。数据集不仅包含常规的实例级掩码和边界框标注，还额外标注了遮挡区域的掩码，为研究遮挡感知的实例分割算法提供了重要支持。此外，数据集的图像涵盖了多种复杂场景，包括物品的严重重叠和类内差异，能够全面评估算法在实际安全检测任务中的性能。

使用方法

PIDray-A和PIXray-A数据集主要用于训练和评估遮挡感知的实例分割模型。研究人员可以通过加载数据集中提供的图像和标注信息，构建端到端的深度学习模型。具体使用时，建议结合遮挡感知的双层掩码解码器模块，利用数据集中的遮挡标注信息来优化模型对遮挡关系的建模能力。此外，数据集的划分（如训练集、测试集和隐藏子集）也为算法的全面评估提供了便利。

背景与挑战

背景概述

PIDray-A和PIXray-A数据集是由香港理工大学和鹏城实验室的研究团队于2025年提出的X射线安检图像实例分割基准数据集。这两个数据集基于现有的大规模X射线图像数据集PIDray和PIXray构建，主要针对安检场景中违禁物品的遮挡问题进行了专门标注。该研究团队由Ren Yunhan、Li Ruihuang等学者领衔，旨在解决X射线图像中违禁物品因材料特性导致的显著外观差异以及物品间严重重叠带来的分割难题。通过引入遮挡感知的双层掩码解码器模块，并结合Segment Anything Model的强大泛化能力，该数据集为安检领域的自动违禁物品检测提供了重要研究基础。

当前挑战

该数据集主要面临两大挑战：在领域问题层面，X射线图像中违禁物品因材料吸收特性导致的显著外观差异，以及物品间严重重叠造成的分割困难，这要求模型具备强大的跨域泛化能力和精确的遮挡关系建模能力；在构建过程层面，研究团队需要人工标注大量物品间的遮挡区域，这项工作不仅耗时费力，还需要专业领域知识来准确判定复杂的遮挡关系。此外，数据集中存在显著的类内差异和极端遮挡情况，如故意隐藏的违禁物品，这对标注质量和模型性能都提出了更高要求。

常用场景

经典使用场景

在X射线安检图像中，违禁物品的实例分割是一项极具挑战性的任务，主要由于X射线图像中违禁物品与自然物体之间存在显著的外观差异，以及物体之间的严重重叠。PIDray-A和PIXray-A数据集通过提供额外的遮挡标注信息，为研究者提供了丰富的实验数据，以验证和改进实例分割算法在复杂场景下的性能。这些数据集特别适用于评估算法在重叠物体分割和遮挡处理方面的表现，成为该领域研究的基准数据集。

实际应用

在实际应用中，PIDray-A和PIXray-A数据集为机场、车站等安检场景中的自动违禁物品检测系统提供了重要的数据支持。通过利用这些数据集训练的模型，可以显著提高安检效率和准确性，减少人工检查的工作量。此外，这些数据集还可用于开发智能安检设备，帮助安检人员在复杂背景下快速识别和定位违禁物品，从而提升公共安全水平。

衍生相关工作

基于PIDray-A和PIXray-A数据集，研究者们已经开发了多种先进的实例分割算法。例如，结合Segment Anything Model（SAM）的遮挡感知实例分割管道，通过双层掩码解码器模块显式建模遮挡关系，显著提升了分割性能。此外，一些工作还探索了如何利用数据集的遮挡标注信息来优化图卷积网络（GCN）和特征金字塔网络（FPN），进一步推动了该领域的技术进步。