FeDa4Fair

FeDa4Fair是一个用于生成表格数据集的库，专门用于在异构客户端偏差下评估公平的联邦学习（FL）方法。该库的目标是解决FL中公平性的挑战，其中客户端之间存在着不同的数据偏差，导致模型对不同客户端的公平性不同。FeDa4Fair支持在客户端级别进行公平性评估，以解决现有FL方法在单一敏感属性上的局限性。FeDa4Fair基于美国社区调查的公共使用微观数据样本（ACS PUMS）和Ding等人提出的公平相关收入和就业预测任务（ACSIncome和ACSEmployment）。该数据集涵盖了美国51个州的数据，其中人口和社会经济状况各不相同，从而模拟了真实的异构客户端设置。FeDa4Fair提供了数据集不可知的方法来评估和放大现有偏差，以实现广泛的偏差异构客户端场景。FeDa4Fair支持单个和交集公平性评估，允许根据单个属性或属性组合进行偏差评估。FeDa4Fair目前支持两种公平性度量标准，即人口差异（DD）和均等化机会差异（EOD），用于进行评估。FeDa4Fair is a library for generating tabular datasets, specifically designed to evaluate fair federated learning (FL) methods under heterogeneous client bias. The library aims to address the fairness challenges in FL, where disparate data biases across clients lead to inconsistent model fairness across different client groups. FeDa4Fair supports client-level fairness evaluation to address the limitations of existing FL methods that only focus on single sensitive attributes. Built upon the Public Use Microdata Samples (PUMS) of the American Community Survey (ACS) and the fairness-relevant income and employment prediction tasks (ACSIncome and ACSEmployment) proposed by Ding et al., FeDa4Fair covers data from all 51 U.S. states with varying demographic and socioeconomic characteristics, thus simulating real-world heterogeneous client settings. FeDa4Fair provides dataset-agnostic methods to evaluate and amplify existing biases, enabling the exploration of a wide range of biased heterogeneous client scenarios. It supports both single and intersectional fairness evaluations, allowing bias assessment based on individual attributes or combinations of multiple attributes. Currently, FeDa4Fair supports two fairness metrics: Demographic Disparity (DD) and Equalized Odds Difference (EOD) for evaluation purposes.

搜集汇总

数据集介绍

构建方式

FeDa4Fair数据集的构建基于美国社区调查公共使用微数据样本（ACS PUMS），并针对联邦学习中的公平性问题进行了专门设计。该数据集通过自然划分美国各州的数据来模拟非独立同分布（non-IID）的客户端数据分布。此外，FeDa4Fair提供了数据修改功能，能够放大现有偏见，从而支持在多样化的客户端设置下进行公平性研究。数据集生成过程包括预处理步骤，如敏感属性的二值化处理，并支持交叉设备和交叉场景的联邦学习设置。

特点

FeDa4Fair数据集的主要特点在于其能够模拟客户端间的异构偏见分布，包括属性偏见和属性值偏见。该数据集支持多种敏感属性（如种族、性别）及其组合的公平性评估，并提供了两种公平性度量标准：人口统计差异（Demographic Disparity）和均衡几率差异（Equalized Odds Difference）。此外，FeDa4Fair还支持生成数据表格式的公平性统计数据和可视化图表，便于研究者进行深入分析。

使用方法

FeDa4Fair数据集的使用方法包括加载预处理后的数据、定义联邦学习场景（如交叉设备或交叉场景）、设置公平性评估参数（如敏感属性和公平性度量标准）。研究者可以利用该数据集评估联邦学习模型在不同偏见分布下的公平性表现，并通过内置的公平性统计和可视化工具进行结果分析。此外，FeDa4Fair与Flower框架兼容，支持无缝集成到现有的联邦学习研究流程中。

背景与挑战

背景概述

FeDa4Fair数据集由Johannes Gutenberg University和University of Pisa的研究团队于2025年提出，旨在解决联邦学习（FL）中的公平性评估问题。该数据集的核心研究问题是针对客户端间数据分布不均导致的模型偏见传播现象，通过构建具有异质偏见的表格数据集，支持全局和客户端层面的公平性评估。其创新性体现在：1）首次系统性地建模了联邦场景下客户端间价值偏见（value bias）和属性偏见（attribute bias）的交互；2）基于美国社区调查（ACS PUMS）数据构建了自然非独立同分布（non-IID）的跨设备/跨中心基准数据集。该工作填补了公平联邦学习领域缺乏标准化评估工具的空白，对推动可复现的公平性研究具有里程碑意义。

当前挑战

FeDa4Fair面临双重挑战：在领域问题层面，需解决联邦学习中因客户端数据偏见异质性导致的公平性评估难题，包括：1）传统方法仅针对单一二元敏感属性，难以捕捉多属性交叉偏见；2）全局公平指标掩盖客户端间差异，导致部分群体遭受偏见放大。在构建过程层面，存在：1）真实数据偏见量化困难，需设计自动化指标识别客户端级偏见分布；2）基准数据集需平衡隐私保护与偏见可控性，通过标签翻转和数据点丢弃等技术实现偏见增强时，需确保不扭曲原始数据的人口统计学特征；3）跨设备场景下客户端数据稀疏性加剧公平性评估的复杂性。

常用场景

经典使用场景

FeDa4Fair数据集在联邦学习公平性评估领域具有经典应用价值，尤其在处理客户端数据分布异构性导致的公平性问题时表现突出。该数据集通过模拟不同客户端在敏感属性（如种族、性别）上的数据偏差分布，为研究者提供了评估联邦学习模型在全局和客户端层面公平性的标准化环境。其典型应用场景包括：评估不同公平性增强算法在跨设备（cross-device）和跨机构（cross-silo）联邦设置下的性能差异，以及分析模型在价值偏差（value bias）和属性偏差（attribute bias）场景中的公平性动态变化。

实际应用

在实际应用中，FeDa4Fair可服务于医疗联合建模、金融风控等隐私敏感领域。例如，在跨医院医疗联邦系统中，各机构患者数据在种族、年龄等属性上存在天然分布差异，该数据集可模拟这种场景以评估模型对少数群体的诊断公平性。此外，在移动设备联邦推荐场景中，其提供的跨设备基准能帮助开发者检测推荐结果是否存在地域或性别歧视。美国人口调查局（ACS PUMS）原始数据的改造使用，也使其成为研究社会经济公平性政策的有效数字孪生工具。

衍生相关工作

该数据集已衍生出多项重要研究：基于其构建的PUFFLE算法（Corbucci et al., ECAI 2024）提出了联邦环境下的公平性正则化框架；Abay等人（2020）利用该数据验证了偏差传播理论；Papadaki等人（FAccT 2022）在其上提出了最小化人口组间差异的新聚合方法。FeDa4Fair还被整合到Flower联邦学习框架的公平性评估模块中，成为联邦学习工具链（如FedArtML、NIID-Bench）进行公平性测试的标准数据源，推动了LEAF基准的公平性扩展。