Fishyscapes

Fishyscapes是由苏黎世联邦理工学院创建的公共基准，用于评估城市驾驶中语义分割的异常检测。该基准基于Cityscapes数据集，包含两个部分：Fishyscapes Web和Fishyscapes Lost & Found。Fishyscapes Web通过从网络爬取的对象覆盖Cityscapes图像，构建了一个开放世界的设置。Fishyscapes Lost & Found则基于一个道路危险数据集，补充了标签。数据集旨在测量方法在检测潜在危险异常方面的性能，适用于自动驾驶等安全关键应用。

Fishyscapes is a public benchmark created by ETH Zurich for evaluating anomaly detection in semantic segmentation for urban driving applications. This benchmark is based on the Cityscapes dataset and consists of two components: Fishyscapes Web and Fishyscapes Lost & Found. Fishyscapes Web establishes an open-world setting by integrating objects crawled from the web into Cityscapes images. Fishyscapes Lost & Found, by contrast, is developed on the basis of a road hazard dataset with supplementary annotations. This dataset is designed to assess the performance of methods in detecting potentially hazardous anomalies, and is applicable to safety-critical scenarios such as autonomous driving.

搜集汇总

数据集介绍

构建方式

Fishyscapes 数据集的构建旨在评估语义分割任务中的异常检测能力，特别是针对城市驾驶场景。数据集由两部分组成：Fishyscapes Web 和 Fishyscapes Lost & Found。Fishyscapes Web 通过在 Cityscapes 数据集的图像上叠加从网络爬取的异常对象来创建开放世界场景。Fishyscapes Lost & Found 则基于 Lost & Found 数据集，该数据集包含在城市街道上捕获的真实图像，并标注了异常对象。为了模拟开放世界场景，Fishyscapes Web 每次迭代都会从网络中采样新的异常对象，并将其与 Cityscapes 图像融合。Fishyscapes Lost & Found 包含了像素级别的标注，区分了对象、背景和空旷区域。

特点

Fishyscapes 数据集的特点在于其开放性和动态性，它能够模拟现实世界中可能出现的各种异常情况。数据集包含两个子集，分别针对不同的评估需求：Fishyscapes Web 用于评估模型对开放世界场景的适应能力，而 Fishyscapes Lost & Found 则用于评估模型在真实世界图像上的表现。此外，数据集还包含了异常对象和背景的像素级别标注，为异常检测任务提供了明确的评估标准。

使用方法

Fishyscapes 数据集的使用方法包括两个主要步骤：首先，参与者需要将他们的异常检测方法应用于 DeepLabv3+ 语义分割模型，并提交其预测结果。其次，数据集的维护者会使用标准化的评估指标（如平均精度 AP 和 95% 回召率下的误报率 FPR95）来评估每个方法的性能。此外，参与者还需要报告其模型的推理时间，以确保方法在实际应用中的可行性。Fishyscapes 数据集的动态更新机制要求参与者不断调整他们的模型，以适应不断变化的数据分布，从而推动异常检测技术的发展。

背景与挑战

背景概述

Fishyscapes 数据集的创建源于深度学习在计算机视觉领域取得的显著进步，尤其是语义分割任务。然而，在安全关键型应用，如自动驾驶中，准确估计不确定性和检测异常情况的能力至关重要。现有的不确定性估计方法大多在简单任务上进行了评估，而 Fishyscapes 数据集旨在解决这一局限性，成为第一个公开的基准，用于评估真实世界场景下城市驾驶语义分割任务的异常检测。该数据集基于 Cityscapes 数据集，并通过添加从网络爬取的物体图像，创建了一个开放世界环境。Fishyscapes 的主要研究人员来自 ETH Zurich 的 Autonomous Systems Lab 和 Visual Geometry Group，以及 Microsoft Research。该数据集的核心研究问题是评估像素级不确定性估计方法，以检测驾驶场景中的潜在危险异常。Fishyscapes 数据集对相关领域产生了重要影响，因为它为评估和改进异常检测方法提供了一个标准平台。

当前挑战

Fishyscapes 数据集面临的主要挑战包括：1) 在真实世界场景中检测异常物体的挑战，因为现实世界是不可控的，模型需要能够识别训练数据分布之外的物体；2) 构建过程中遇到的挑战，例如，如何创建一个动态变化的合成数据集，以模拟开放世界环境，以及如何避免方法对合成图像处理过程的过拟合。此外，由于语义分割网络的复杂性和高计算成本，将原本为图像分类设计的方法适应语义分割任务并非易事，需要提出不同的近似方法来克服这些挑战。Fishyscapes 数据集还展示了中间层嵌入中包含的重要信息，并开发了一种基于嵌入空间密度估计的新方法，但同时也指出了视觉外观变化可能误导基于特征和其他方法的问题。

常用场景

经典使用场景

Fishyscapes数据集是一个用于语义分割异常检测的公共基准，它评估像素级不确定性估计在检测异常对象方面的能力。该数据集基于Cityscapes数据集，并在此基础上添加了来自网络和Lost & Found数据集的异常对象。Fishyscapes数据集的经典使用场景是在自动驾驶等安全关键应用中，评估和比较不同不确定性估计方法对异常对象的检测能力。

实际应用

Fishyscapes数据集在实际应用场景中可用于评估和改进自动驾驶等安全关键应用中的语义分割模型。通过使用该数据集，研究人员可以评估模型在面对异常对象时的鲁棒性和可靠性，并改进模型以更好地处理这些情况。此外，Fishyscapes数据集还可以用于开发新的异常检测方法，并评估它们在实际应用中的性能。

衍生相关工作

Fishyscapes数据集衍生了多项相关研究，包括开发新的异常检测方法、评估和比较现有方法在语义分割任务中的性能、以及研究不确定性估计和异常检测之间的关系。该数据集还为研究人员提供了一个平台，用于开发和测试新的模型和方法，并推动语义分割和异常检测领域的发展。