UncertSAM

UncertSAM是由阿姆斯特丹大学团队构建的多领域分割基准数据集，整合了BIG、COD、ISTD等8个子集，涵盖2.3万张图像和4.4万标注掩膜，重点针对阴影、伪装、透明物体等复杂场景。数据来源于公开的学术数据集如ISTD和MSD Spleen，通过标准化处理形成统一评估体系。该数据集旨在通过量化不确定性提升SAM等基础模型在域无关场景下的鲁棒性，为医学影像、自动驾驶等领域的可靠分割提供研究基础。

UncertSAM is a multi-domain segmentation benchmark dataset constructed by the team from the University of Amsterdam. It integrates 8 subsets including BIG, COD, ISTD, etc., covering 23,000 images and 44,000 annotated masks, with an emphasis on complex scenarios such as shadows, camouflage, and transparent objects. The dataset is sourced from publicly available academic datasets such as ISTD and MSD Spleen, and a unified evaluation system is established through standardization procedures. This dataset aims to enhance the robustness of foundation models like SAM in domain-agnostic scenarios by quantifying uncertainty, providing a research foundation for reliable segmentation in fields such as medical imaging and autonomous driving.

原始信息汇总

UncertSAM 数据集概述

数据集基本信息

• 数据集名称：UncertSAM Benchmark
• 托管平台：Hugging Face (https://huggingface.co/datasets/JesseBrouw/UncertSAM)
• 关联论文：Towards Integrating Uncertainty for Domain-Agnostic Segmentation
• 数据规模：包含超过 23,000 张图像和超过 44,000 个实例掩码

数据集构成

该基准测试统一了八个数据集合，涵盖多个视觉领域：

• BIG
• COIFT
• COD10K-v3
• MSD Spleen
• ISTD
• SBU
• Flare7K
• Trans10K

涵盖的领域包括：

• 细粒度显著性
• 伪装物体
• 医学影像
• 阴影
• 光照伪影
• 透明物体

方法论背景

数据集用于支持对四种后处理不确定性策略的研究，这些策略在冻结SAM 2图像编码器的同时，操作其轻量级提示和解码器模块：

1. 测试时增强：扰动输入图像并聚合预测。
2. 提示扰动：采样和抖动边界框/点以估计不确定性。
3. 最后一层拉普拉斯近似：使用 laplace-torch 近似最后一层解码器权重的后验分布。
4. 方差网络：训练一个辅助的异方差对数方差头。

此外，密集嵌入融合方法在细化过程中利用了不确定性图。

许可信息

• 基准测试许可：该基准测试聚合了多个数据集（BIG、COD10K等），每个数据集都有自己的许可证。请参阅HuggingFace数据集卡片或论文附录，以了解每个子集的具体使用条款。
• 衍生文件：源自SAM 2的文件保留其原始许可证标头，并在适用时受SAM 2许可证管辖。

数据获取与使用

• 下载命令： bash export HF_TOKEN=hf_xxx python -m utils.download_dataset --cache_dir=$DATA_DIR/UncertSAMBenchmark

• 环境要求：需要设置 DATA_DIR、HF_HOME 和 HF_TOKEN 环境变量。

实验与评估

数据集用于支持以下类型的实验评估：

• 基线SAM2评估
• 拉普拉斯近似拟合
• 方差网络训练
• 不确定性方法评估（拉普拉斯、方差网络、提示扰动/TTA）
• 提示调优和密集细化

评估输出包括每个数据集的CSV文件以及包含定性图的示例目录。

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，面对分割基础模型在域偏移或知识受限场景下的泛化挑战，UncertSAM基准的构建旨在系统评估不确定性量化对模型鲁棒性的提升潜力。该数据集通过精心筛选与标准化八个涵盖阴影、透明、伪装及医学影像等多领域挑战性分割任务的数据集，整合了超过23,000张图像与44,000个标注掩码，确保覆盖广泛视觉退化条件。构建过程中采用连接组件分析与色彩编码等预处理策略，以适配SAM模型的分割逻辑，同时所有不确定性拟合均基于SA-1B训练集的子集进行，保障了评估过程的领域无关性。

使用方法

该数据集的使用聚焦于不确定性量化方法的评估与分割预测的迭代优化。研究者可基于提供的边界框提示，在八个子数据集上测试SAM模型的基础分割性能，并利用集成策略如测试时增强、提示扰动、拉普拉斯近似及方差网络生成空间不确定性图谱。通过计算不确定性图谱与分割错误之间的皮尔逊相关系数，能够验证不同方法的有效性；进一步地，可实施密集嵌入融合等初步优化步骤，将不确定性信息注入模型编码器表征，以探索其对预测错误的修正潜力。这一流程为构建领域无关的鲁棒分割模型提供了方法论框架。

背景与挑战

背景概述

在计算机视觉领域，图像分割作为一项基础任务，其性能的鲁棒性与泛化能力一直是研究焦点。Segment Anything Model（SAM）等基础模型凭借大规模预训练展现了卓越的零样本分割能力，但在面对域偏移或知识受限的场景时，其表现仍显脆弱。UncertSAM数据集由阿姆斯特丹大学UvA-Bosch Delta实验室的Jesse Brouwers等人于2025年构建，旨在探究不确定性量化如何以领域无关的方式增强分割模型的泛化性。该数据集汇集了八个涵盖阴影、透明、伪装等挑战性视觉条件的数据集，包含超过23,000张图像和44,000个标注掩码，为评估不确定性方法提供了标准化基准。UncertSAM的创建推动了分割模型从依赖领域特定微调向更原则性的不确定性引导范式的转变，对提升模型在真实复杂环境中的可靠性具有重要影响。

当前挑战

UncertSAM数据集致力于解决图像分割在领域无关场景下的核心挑战，即模型在域偏移或极端视觉条件下的性能退化问题。具体而言，该数据集旨在评估不确定性量化方法如何有效识别并缓解分割错误，例如在阴影检测、透明物体分割或伪装对象识别中的失败案例。在构建过程中，研究团队面临多重挑战：一是数据集的收集与标准化需涵盖多样化的视觉域，同时确保标注质量与一致性；二是设计轻量级、后验的不确定性估计方法，需在不修改SAM重型编码器的前提下实现高效集成；三是开发不确定性引导的预测细化策略，其初步尝试表明，单纯的后验融合难以充分利用不确定性信号，突显了将不确定性更深层次融入模型架构或训练过程的必要性。

常用场景

经典使用场景

在计算机视觉领域，UncertSAM数据集被广泛用于评估分割模型在复杂视觉条件下的不确定性量化能力。该数据集通过整合阴影、透明、伪装等挑战性场景，为研究者提供了一个标准化的测试平台，以验证模型在域无关分割任务中的鲁棒性和泛化性能。

解决学术问题

UncertSAM数据集主要解决了分割模型在域偏移或知识受限场景下性能下降的学术难题。通过引入不确定性估计方法，该数据集帮助研究者识别模型预测中的不可靠区域，从而推动开发更稳健的分割算法，提升模型在未知环境中的可信度和适应性。

实际应用

在实际应用中，UncertSAM数据集支持自动驾驶、医学影像分析和工业检测等关键领域。例如，在自动驾驶系统中，模型可利用该数据集的不确定性信息来准确分割阴影或透明障碍物，增强环境感知的可靠性；在医学影像中，它有助于识别CT扫描中的不确定边界，辅助医生进行更精准的诊断。

数据集最近研究

最新研究方向

在计算机视觉领域，随着Segment Anything Model (SAM)等基础模型在零样本分割任务中展现出卓越性能，其面对域偏移或知识受限场景时的鲁棒性仍面临挑战。UncertSAM数据集应运而生，专注于通过不确定性量化提升模型在阴影、透明、伪装等复杂条件下的域无关分割能力。前沿研究围绕轻量级后验不确定性估计方法展开，特别是最后一层拉普拉斯近似法，其生成的不确定性图与分割误差呈现强相关性，为预测修正提供了有效信号。尽管当前基于不确定性引导的预测细化策略尚处初步探索阶段，但该数据集推动了将不确定性更深层次整合至模型架构中的研究趋势，旨在实现更稳健、可泛化的分割性能，为医学影像、自动驾驶等关键应用奠定理论基础。

相关研究论文

• Towards Integrating Uncertainty for Domain-Agnostic Segmentation

  阿姆斯特丹大学·UvA-Bosch Delta实验室 · 2025年