arubique/waterbirds

Waterbirds (OCCAM布局) 数据集是一个用于图像分类和鲁棒性研究的基准数据集，特别关注虚假相关性和群体偏移。该数据集基于原始Waterbirds基准，由Sagawa等人引入，用于群体分布鲁棒优化。数据集包含鸟类图像（分为陆地鸟和水鸟两类），并与陆地或水背景合成，以创建虚假相关性（例如，陆地鸟通常出现在陆地背景上）。数据集以OCCAM代码库的布局重新组织，包含12个子场景，每个子场景对应不同的鸟类型和背景组合（如landbird_on_land、waterbird_on_water等），并提供原始图像、仅前景裁剪和仅背景裁剪版本。这些版本用于评估模型在子群体偏移、仅前景或仅背景条件下的性能。数据集用于研究深度学习模型的鲁棒性，特别是在处理虚假相关性时的泛化能力。每个子场景文件夹包含二进制类别标签（0代表水鸟，1代表陆地鸟），便于图像分类任务。数据集还包括元数据文件（metadata.csv），用于映射图像文件路径和背景信息。该数据集适用于机器学习和计算机视觉社区，用于实验和分析模型在分布偏移下的行为。

The Waterbirds (OCCAM Layout) dataset is a benchmark dataset for image classification and robustness research, with a particular focus on spurious correlations and distribution shift. It is based on the original Waterbirds benchmark introduced by Sagawa et al. for distributionally robust optimization. The dataset contains bird images categorized into two classes: land birds and water birds, which are synthesized with land or water backgrounds to create spurious correlations (e.g., land birds typically appear on land backgrounds).

Reorganized according to the layout of the OCCAM codebase, the dataset includes 12 sub-scenarios, each corresponding to a unique combination of bird type and background (e.g., landbird_on_land, waterbird_on_water). It provides three versions of each image: the original full image, a foreground-only cropped version, and a background-only cropped version. These variants are used to evaluate model performance under subgroup shift, as well as foreground-only or background-only conditions.

This dataset is designed to study the robustness of deep learning models, especially their generalization ability when handling spurious correlations. Each sub-scenario folder contains binary category labels, where 0 denotes water birds and 1 denotes land birds, to facilitate image classification tasks. Additionally, the dataset includes a metadata file (metadata.csv) that maps image file paths to their corresponding background information.

This dataset is suitable for the machine learning and computer vision communities, supporting experiments and analyses of model behavior under distribution shift.

搜集汇总

数据集介绍

构建方式

Waterbirds数据集源自Shiori Sagawa等人提出的分布鲁棒优化基准，原始图像通过从鸟类图像中提取前景，并与Places 256数据集的背景图像进行合成而构建。本HuggingFace版本在OCCAM框架下重组为十二个子场景，每组包含原始合成图、前景裁剪图和背景裁剪图三个版本，分别对应原始数据中基于类别与背景组合的四个虚假相关群组。每个子场景按粗粒度鸟类标签（landbird为1，waterbird为0）划分文件夹，背景裁剪图与合成图通过metadata.csv中的相同文件名保持对齐，确保分析时背景偏移与前景信息的独立可控。

特点

该数据集的核心特点在于其精心设计的十二个子场景结构，能够系统性地解耦前景类别与背景环境之间的虚假关联。每个群组的原始图、仅前景图和仅背景图三胞胎形式，使得研究者可以分别评估模型对前景特征、背景环境以及两者组合的依赖程度。背景图像来自Places 256数据集，保证了视觉多样性和真实性。此外，数据集保留了WILDS风格的metadata.csv，提供完整的图像标识、分割信息及背景来源，便于进行细粒度的鲁棒性分析。整体规模介于1万至10万张之间，均衡覆盖了水鸟与陆鸟在不同背景下的分布。

使用方法

用户可通过HuggingFace的datasets库直接加载数据，例如调用load_dataset('arubique/waterbirds', 'landbird_on_land_fg_only', split='train')即可获取指定子场景的训练集。每个子场景内的0和1子文件夹直接对应模型分类目标。metadata.csv提供了每张合成图的原始背景路径，可用于背景替换或混合分析。对于OCCAM实验，数据集的完整下载可通过官方代码库中的scripts/download_datasets_and_checkpoints.py脚本自动完成。非OCCAM使用时，仍需引用原始Waterbirds论文以尊重数据来源的版权和许可条款。

背景与挑战

背景概述

水鸟数据集（Waterbirds）源于2019年由Shiori Sagawa、Pang Wei Koh、Tatsunori B. Hashimoto和Percy Liang等研究者提出的分布鲁棒优化基准，旨在评估模型在群体分布偏移下的最差泛化性能。该数据集通过将加州鸟类数据集中的水鸟与陆鸟图像分别叠加于水域或陆地背景，构建了包含前景与背景虚假关联（spurious correlation）的四类场景，如“水鸟在水面”与“陆鸟在陆地”等。作为鲁棒性评估的经典标杆，Waterbirds深刻揭示了深度神经网络过度依赖环境伪特征而非目标语义的脆弱性，推动了群体分布鲁棒优化、因果表征学习及虚假关联解耦等方向的蓬勃发展。OCCAM项目在此基础上进一步拓展为十二个子场景，引入了前景/背景分离的细粒度分析设置，为系统解耦模型对前景与背景的依赖提供了标准化研究平台。

当前挑战

Waterbirds数据集的核心挑战在于其代表的领域问题——图像分类中因虚假关联导致的泛化失败，即模型仅凭借背景线索（如水或陆地）进行预测，而忽视目标鸟类的本质类别。具体而言，模型在训练数据中观察到“水鸟多出现于水面”，便将其作为捷径，导致面对“水鸟在陆地”或“陆鸟在水面”等违背分布的场景时性能骤降。此外，数据集构建本身亦面临多重困难：原始鸟类图像的标注需精确对齐；背景叠加需从Places 256数据集选取代表性场景，并确保合成图像的视觉真实性；而针对十二个子场景中前景、背景及合成图像的分离与管理，更要求标准化元数据与文件结构，以支持可复现的鲁棒性分析实验。

常用场景

经典使用场景

在计算机视觉与鲁棒性研究的交汇处，Waterbirds数据集是评估模型在分布偏移下泛化能力的标杆。其设计精巧地将鸟类图像划分为四种群组，巧妙利用前景（水鸟或陆鸟）与背景（水域或陆域）间固有的虚假关联，构造出具有挑战性的分类场景。经典用法聚焦于训练模型识别鸟类类别，同时避免被背景等环境线索所误导。研究者通过对比模型在四个子群——如'水鸟在水域'（一致组）与'水鸟在陆域'（冲突组）——上的表现差异，量化模型对虚假相关性的依赖程度。该数据集尤其适合验证诸如组分布鲁棒优化、重加权策略及因果机制建模等方法的有效性，是探索鲁棒深度学习不可或缺的实验场。

实际应用

将Waterbirds的研究洞见投射到现实世界，其应用场景远超出鸟类识别本身。在医疗影像诊断中，病灶区域与特定拍摄设备或患者背景间的虚假关联时常导致模型误判，Waterbirds揭示的鲁棒训练策略可迁移至肺部X光片或皮肤镜图像的判读，确保诊断不因环境变迁而失真。在自动驾驶领域，行人检测模型若依赖绿化带或车道线等环境背景，将在陌生场景下酿成安全事故。Waterbirds启发的解耦学习方法有助于车辆视觉系统聚焦于目标本身的形状与运动，而非周遭环境。此外，金融风控、语言模型等对虚假关联敏感的高风险领域，皆可从该数据集所验证的鲁棒技术中汲取养分。

衍生相关工作

自Waterbirds问世以来，一系列里程碑工作围绕其展开。Sagawa等人提出的组分布鲁棒优化（Group DRO）直接以该数据集为验证平台，通过最小化最差群体损失来克服虚假相关性。该研究启发了后续的Just Train Twice、DFR等重加权与微调方法。此外，Nam等人发现模型在不同epochs的预测行为能够识别冲突样本，从而衍生出基于自集成或对比学习的去偏策略。数据集本身也被扩展为OCCAM基准，引入前景/背景分离的子场景，用于细粒度分析模型对虚假特征的依赖机制。这些工作共同构建了从诊断到治疗的完整鲁棒性研究生态。