SUB

SUB是一个细粒度的图像和概念基准，包含基于CUB数据集的38,400张合成图像。它选择了33个鸟类类别和45个概念来生成反事实图像，这些图像替换了特定的概念，如翅膀颜色或腹部图案。通过新颖的Tied Diffusion Guidance (TDG)方法，可以精确控制生成的图像，确保生成正确的鸟类类别和属性。

SUB is a fine-grained image and concept benchmark containing 38,400 synthetic images based on the CUB dataset. It selects 33 bird categories and 45 concepts to generate counterfactual images that replace specific concepts such as wing color or abdominal patterns. The novel Tied Diffusion Guidance (TDG) method allows for precise control over the generated images, ensuring the correct bird categories and attributes are produced.

原始信息汇总

SUB数据集概述

数据集简介

• 全称：Benchmarking CBM Generalization via Synthetic Attribute Substitutions
• 目的：评估概念瓶颈模型(CBMs)和其他可解释模型在概念变化下的鲁棒性
• 基础数据：基于CUB数据集的子集（33种鸟类类别和45个概念）
• 数据规模：38,400张合成图像
• 生成方法：通过替换特定概念（如翅膀颜色或腹部图案）生成反事实图像

技术特点

• 核心创新：采用Tied Diffusion Guidance (TDG)方法
  • 通过两个并行去噪过程的噪声共享机制
  • 确保同时生成正确的鸟类类别和属性
• 控制精度：可精确控制生成图像的特征

数据集内容

• 数据类型：精细标注的图像和概念数据
• 应用领域：医学等需要透明AI的领域

获取方式

• 下载地址：https://huggingface.co/datasets/Jessica-bader/SUB

相关资源

• 代码实现：提供TDG演示脚本tied_diffusion_guidance_demo.py
• 评估代码：预训练CBM评估代码即将发布

引用信息

bibtex @article{bader2025sub, title={SUB: Benchmarking CBM Generalization via Synthetic Attribute Substitutions}, author={Jessica Bader and Leander Girrbach and Stephan Alaniz and Zeynep Akata}, journal={Proceedings of the IEEE/CVF International Conference on Computer Vision}, year={2025} }

搜集汇总

数据集介绍

构建方式

在可解释人工智能领域，概念瓶颈模型（CBMs）的鲁棒性评估一直面临挑战。SUB数据集通过创新的Tied Diffusion Guidance（TDG）方法构建，该方法采用双并行去噪过程共享噪声机制，精准控制生成图像的鸟类类别和特定属性。基于CUB数据集的33个鸟类类别和45个概念，研究团队生成了38,400张反事实图像，通过系统替换翅膀颜色、腹部花纹等概念属性，构建了这个细粒度的图像与概念基准数据集。

特点

SUB数据集作为评估概念瓶颈模型泛化能力的专业基准，具有三个显著特征：其反事实图像生成机制通过TDG技术确保鸟类本体特征与目标属性的精确解耦；数据规模覆盖广泛的概念变异场景，包含38400个经过严格控制的样本；细粒度的标注体系源自CUB数据集的专业鸟类特征分类，为可解释模型提供了可靠的评估基础。这种结构化的属性替换设计特别适合研究分布偏移下的概念识别稳定性问题。

使用方法

该数据集主要服务于可解释机器学习模型的评估研究，使用者可通过Hugging Face平台直接获取完整数据集。研究人员可利用预置的评估代码测试CBM模型在属性替换场景下的表现，TDG演示脚本支持自定义提示词组合来生成特定概念变体。典型应用场景包括：通过对比原始图像与反事实图像的预测差异分析模型鲁棒性，或利用细粒度属性标注开展概念学习的消融实验。数据集配套的标准化评估流程将随代码库同步更新，确保实验结果的可比性。

背景与挑战

背景概述

SUB数据集由慕尼黑机器学习实验室的Jessica Bader、Leander Girrbach、Stephan Alaniz和Zeynep Akata等研究人员于2025年提出，旨在评估概念瓶颈模型（CBMs）在分布偏移下的鲁棒性。该数据集基于CUB鸟类数据集构建，包含38,400张合成图像，覆盖33种鸟类和45个视觉概念。通过创新的Tied Diffusion Guidance（TDG）方法，研究人员能够精确控制生成图像的特定属性，如翅膀颜色或腹部图案，从而创建具有明确概念替换的反事实图像。SUB为可解释性模型的研究提供了首个专注于概念泛化能力的基准测试平台，对医疗等高风险领域的可信AI发展具有重要意义。

当前挑战

SUB数据集主要解决概念瓶颈模型在概念层面泛化能力不足的核心挑战。传统CBMs在分布偏移下难以保持概念识别的稳定性，而SUB通过系统性的属性替换揭示了模型对细微概念变化的敏感性。在构建过程中，研究团队面临生成图像属性精确控制的难题，为此开发的TDG方法需平衡两个并行去噪过程，既要保持鸟类类别特征，又要准确修改目标属性。此外，确保合成图像与真实数据分布的一致性，以及建立全面的评估指标来衡量概念层面的泛化性能，都是构建该数据集时需要克服的关键技术障碍。

常用场景

经典使用场景

在计算机视觉与可解释人工智能领域，SUB数据集通过其精心设计的合成图像库，为概念瓶颈模型（CBMs）的鲁棒性评估提供了标准化测试平台。数据集基于CUB鸟类数据集构建，采用创新的Tied Diffusion Guidance方法生成具有特定属性替换（如翅膀颜色、腹部图案）的对抗样本，使研究者能够系统性地探究模型在概念分布偏移下的表现。这种受控的合成数据生成范式，尤其适用于验证可解释模型在医学影像分析等高风险场景中的概念识别稳定性。

解决学术问题

SUB数据集直接应对可解释人工智能领域的关键挑战——模型对概念变化的泛化能力不足问题。通过提供38,400个精确控制属性变体的图像样本，解决了传统评估方法难以量化概念级鲁棒性的技术空白。该基准使研究者能够分离出纯粹的概念分布偏移影响，为开发抵抗属性扰动的CBM架构提供了诊断工具，推动了具有语义一致性的解释性模型发展，对医疗诊断系统等需要高可靠解释的领域具有深远意义。

衍生相关工作

SUB的发布催生了多个重要研究方向，包括基于扩散模型的概念编辑技术改进、面向动态分布的CBM自适应训练框架等。其核心方法Tied Diffusion Guidance已被拓展至3D医学图像合成领域，衍生出RadSUB基准用于评估肿瘤特征识别的鲁棒性。在理论层面，该数据集支撑的《ConceptShift: Measuring Concept Robustness》等研究，建立了可解释模型评估的新范式。