Scribbles for All

Scribbles for All数据集由马克斯普朗克信息学研究所和苏黎世联邦理工学院创建，旨在通过涂鸦标签支持弱监督语义分割的研究。该数据集包含多个子集，如s4Pascal和s4Cityscapes，每个子集针对不同的应用场景和挑战。数据集的创建过程涉及自动生成涂鸦标签的算法，这些标签从完全标注的数据集中导出，模拟人工涂鸦。这些数据集主要用于推动基于涂鸦的语义分割方法的研究，特别是在处理复杂场景和细粒度分类时。

The Scribbles for All dataset was developed by the Max Planck Institute for Informatics and ETH Zurich, with the goal of supporting research on weakly supervised semantic segmentation using scribble labels. The dataset comprises multiple subsets including s4Pascal and s4Cityscapes, each tailored for distinct application scenarios and corresponding challenges. The creation of this dataset employs algorithms to automatically generate scribble labels, which are derived from fully annotated datasets and mimic manual scribbles. These datasets are primarily intended to promote research on scribble-based semantic segmentation approaches, especially for scenarios involving complex scenes and fine-grained classification tasks.

原始信息汇总

Scribbles4All 数据集概述

数据集信息

• 数据集名称: Scribbles4All
• 数据集描述: 该数据集与论文《Scribbles4All》相关，论文预印本可在arXiv上获取。
• 数据集链接: Scribbles4All 论文预印本

数据集发布计划

• 已完成:
  • 发布s4数据集
  • 将数据集位置迁移至GitHub
  • 添加Croissant元数据标准
• 待完成:
  • 发布涂鸦生成代码
  • 提供下载辅助工具

许可证

• 许可证类型: CC BY 4.0
• 许可证描述: 本仓库中的代码及通过本仓库链接的数据集均在CC BY 4.0许可证下发布。

搜集汇总

数据集介绍

构建方式

Scribbles for All数据集的构建方法主要基于一个自动化的scribble标签生成算法。该算法以全标签数据集的语义分割标签为输入，自动生成scribble标签。具体而言，算法首先对图像进行预处理，包括按类别分离语义掩码和执行形态学侵蚀。然后，通过多项式拟合在对象边缘上采样点，并计算每个对象的中心质心。最后，通过迭代过程生成近似于手绘scribble的标签，并确保不违反类别边界。

特点

Scribbles for All数据集的特点包括：1) 自动生成scribble标签，减少人工标注成本；2) 提供多个流行且具有挑战性的分割数据集的scribble标签，如PascalVOC、Cityscapes、KITTI360和ADE20K；3) 生成的scribble标签与人工绘制的标签具有很高的相似度，为scribble监督分割方法的研究提供了基础；4) 数据集公开可用，方便研究人员进行模型训练和评估。

使用方法

使用Scribbles for All数据集的方法包括：1) 下载数据集和scribble生成算法；2) 使用scribble标签训练或微调语义分割模型；3) 在s4Pascal、s4Cityscapes、s4KITTI360和s4ADE20K数据集上评估模型性能；4) 可以将生成的scribble标签与其他类型的标签（如点标签）结合使用，以进一步提高模型性能。

背景与挑战

背景概述

Scribbles for All 数据集是由 Wolfgang Boettcher、Lukas Hoyer、Ozan Unal 和 Jan Eric Lenssen 等研究人员于 2023 年创建的，旨在解决弱监督语义分割任务中数据集标注成本高的问题。该数据集的核心研究问题是，如何利用简化的标注（如涂鸦）来训练高质量的语义分割模型，从而降低标注成本。Scribbles for All 数据集提供了多种流行分割数据集的涂鸦标签，并提供了一种自动生成涂鸦标签的算法，为弱监督分割领域的研究提供了新的思路和方法。该数据集的发布，使得研究人员能够在更广泛和更具挑战性的数据集上评估和改进弱监督分割模型，推动了该领域的发展。

当前挑战

Scribbles for All 数据集面临的挑战主要包括：1) 如何确保自动生成的涂鸦标签与人工标注的涂鸦标签在语义分割任务上具有相似的性能；2) 如何应对不同数据集在复杂度上的差异，例如 Cityscapes 数据集中的小物体实例和 ADE20K 数据集中的大量语义类别；3) 如何进一步提高弱监督分割模型的性能，使其能够与全监督分割模型相媲美。

常用场景

经典使用场景

Scribbles for All 数据集被广泛用于训练或微调语义分割模型，特别是那些基于草图监督的模型。草图监督语义分割（WSSS）是一种弱监督语义分割方法，它使用不完整的标签，如图像级别的标签、边界框或草图，来训练模型。Scribbles for All 数据集提供了多种数据集的草图标签，使得研究人员能够在一个统一的平台上评估和比较不同的 WSSS 方法。此外，该数据集还可以用于开发新的 SASS 方法，并通过草图标签进行训练或微调。

解决学术问题

Scribbles for All 数据集解决了当前 SSS 方法研究中的一个主要问题，即缺乏具有挑战性的草图分割数据集。现有的 SSS 方法主要集中在 PascalVOC 数据集上，该数据集过于简单，无法全面评估模型的性能。Scribbles for All 数据集提供了多种数据集的草图标签，包括 Cityscapes、ADE20K 和 KITTI360 等，这些数据集具有更高的复杂性和多样性，能够更好地评估和比较 SSS 方法的性能。此外，Scribbles for All 数据集还提供了一种自动生成草图标签的算法，为研究人员提供了更多的灵活性和便利性。

衍生相关工作

Scribbles for All 数据集衍生了多种相关的经典工作。例如，ScribbleKITTI 数据集是第一个用于 3D 领域的草图监督语义分割数据集，它使用了 Scribbles for All 数据集中的算法来生成 3D 点云数据的草图标签。此外，Scribbles for All 数据集还促进了 SASS 方法的研发，例如 SASformer、TEL 和 AGMM-SASS 等。这些方法在 Scribbles for All 数据集上取得了优异的性能，并推动了 SASS 领域的发展。