基于美国人口普查的大型公平约束学习任务基准

本研究发布了一个具有挑战性的基准，用于评估深度神经网络在公平约束训练方面的性能。该基准是基于美国人口普查数据（Folktables）构建的，提供了高达5.7亿个受保护子组的定义。该数据集旨在帮助研究人员评估和比较不同的公平约束算法，以解决深度神经网络训练中的公平性问题。

This study releases a challenging benchmark for evaluating the performance of deep neural networks during fairness-constrained training. Built upon the US Census data (Folktables), this benchmark provides definitions for up to 570 million protected subgroups. It is designed to assist researchers in evaluating and comparing different fairness-constrained algorithms to address fairness issues in deep neural network training.

原始信息汇总

数据集概述

基本信息

• 名称: Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks
• 许可证: Apache 2.0
• 开发状态: 活跃开发中

数据集内容

• 目的: 比较随机约束随机优化算法在公平学习任务上的表现
• 包含算法:
  • Stochastic Ghost
  • SSL-ALM
  • Stochastic Switching Subgradient
  • SGD (基线，无公平性)
  • Fairret (基线，带正则化公平性)

安装与使用

• Python版本要求: 3.11
• 安装步骤:
  1. 创建虚拟环境
  2. 从源代码安装（可编辑包）
  3. 安装依赖项
• 注意事项: 推荐使用mkl加速的scipy包运行Stochastic Ghost算法

复现基准测试

• 运行命令: 使用run_folktables.py脚本运行不同算法
• 输出结果: 保存至experiments/utils/saved_models和experiments/utils/exp_results
• 配置管理: 使用Hydra管理参数，配置文件位于experiments/conf

扩展功能

• 添加新算法: 子类化Algorithm类并更新配置文件
• 添加新约束: 使用FairnessConstraint类并更新配置文件

未来计划

• 支持多于2个子组的公平性约束
• 支持除Folktables外的其他数据集
• 向PyTorch-like API优化器迁移

参考文献

1. Ding, Hardt & Miller et al. (2021) Retiring Adult: New Datasets for Fair Machine Learning
2. Facchinei & Kungurtsev (2023) Stochastic Approximation for Expectation Objective and Expectation Inequality-Constrained Nonconvex Optimization
3. Huang, Zhang & Alacaoglu (2025) Stochastic Smoothed Primal-Dual Algorithms for Nonconvex Optimization with Linear Inequality Constraints
4. Huang & Lin (2023) Oracle Complexity of Single-Loop Switching Subgradient Methods for Non-Smooth Weakly Convex Functional Constrained Optimization

搜集汇总

数据集介绍

构建方式

该数据集基于美国社区调查（ACS）的公共使用微观数据样本（PUMS），通过Folktables Python包进行构建，专注于公平机器学习任务。数据集中包含9个特征和17,917个数据点，主要用于预测个体收入是否超过50,000美元的二分类任务。保护属性为种族（RAC1P），通过二值化处理为“白人”和“非白人”两个子群。数据集按80%训练集和20%测试集的比例随机划分，并进行了分层处理以确保子群比例的一致性。

特点

该数据集的特点在于其大规模和现实世界的公平性挑战。通过Folktables包，可以定义多达57亿个保护子群，为公平约束的深度学习任务提供了丰富的实验场景。数据集中的保护属性在训练和测试阶段被移除，以防止模型直接利用这些属性进行学习。此外，数据经过标准化处理，进一步提升了模型的训练效果。该数据集已被证实存在偏差，为公平性算法的评估提供了真实且具有挑战性的基准。

使用方法

该数据集的使用方法包括通过PyTorch或TensorFlow构建计算图，选择适当的约束条件（如人口统计平等、机会均等或均衡几率），并定义保护子群以应用这些约束。用户可以利用Folktables包加载和处理数据，进行模型训练和评估。实验表明，该数据集适用于多种优化算法（如随机Ghost方法、SSL-ALM方法和随机切换次梯度方法）的测试，能够有效评估算法在优化性能和公平性提升方面的表现。

背景与挑战

背景概述

基于美国人口普查的大型公平约束学习任务基准数据集由捷克技术大学布拉格人工智能中心的Andrii Kliachkin等研究人员于2025年创建，旨在解决深度神经网络（DNN）在公平性约束下的训练问题。该数据集基于美国社区调查（ACS）的公开微数据样本（Folktables），专注于收入预测等高风险领域的公平机器学习任务。通过定义多达57亿个受保护子群，该数据集为评估随机逼近算法在非凸、非光滑和大规模约束优化问题中的性能提供了标准化测试平台，推动了公平机器学习领域的方法论发展和实际应用。

当前挑战

该数据集面临的挑战主要体现在两个方面：领域问题方面，需解决深度神经网络在多重公平性约束（如人口统计平等、机会均等）下的优化难题，这些约束导致目标函数和约束条件具有非凸性和非光滑性；构建过程方面，需处理美国人口普查数据的高维度特征和复杂子群定义，同时确保采样策略能准确反映不同子群的统计特性。此外，约束条件的随机性评估和算法比较缺乏统一框架，增加了基准测试的复杂度。

常用场景

经典使用场景

在机器学习公平性研究领域，基于美国人口普查的大型公平约束学习任务基准数据集被广泛用于评估和比较不同算法在训练深度神经网络时处理公平性约束的能力。该数据集通过Folktables Python包提供，包含丰富的真实世界人口统计特征，研究者可利用其构建具有挑战性的公平性约束优化问题，如 demographic parity、equal opportunity 和 equalized odds 等不同公平性指标的约束形式。

解决学术问题

该数据集有效解决了公平性机器学习领域的核心学术问题：如何在保证模型预测准确性的同时，确保不同人口统计群体间的公平性。通过提供大规模真实人口普查数据，研究者可以系统性地研究非凸、非光滑、大规模约束条件下的优化算法性能，填补了现有研究中缺乏标准评估基准的空白。数据集支持定义多达57亿个受保护子群体，为算法在复杂真实场景中的泛化能力提供了严格测试环境。

衍生相关工作

该数据集已催生多项重要研究工作，包括Stochastic Ghost方法、SSL-ALM算法和Stochastic Switching Subgradient等新型优化算法的提出与验证。相关衍生工作集中在三个方面：开发更高效的随机近似算法、设计适用于非凸非光滑问题的收敛性理论，以及探索公平性约束与模型压缩（如[13]）、Lipschitz约束（如[45]）等其他约束形式的联合优化框架。这些工作通过该基准实现了跨方法的标准化性能对比。