BackFed Benchmark Suite

BackFed是一个全面的基准测试套件，旨在标准化、简化和可靠地评估联邦学习中的后门攻击和防御。该基准测试套件通过多处理实现显著加速实验，并通过模块化设计使得新方法的集成变得无缝。BackFed提供了一个标准化的评估流程，使得研究人员能够在一个即插即用的环境中全面和可靠地评估新的攻击和防御。BackFed集成了多个已建立的基准数据集，包括CIFAR-10、MNIST和TinyImageNet，并通过Dirichlet和均匀分布模拟了数据集在客户端之间的分区。BackFed支持计算机视觉领域的分类任务，以及自然语言处理中的情感分析和下一个单词预测任务。BackFed is a comprehensive benchmark suite designed to standardize, simplify, and reliably evaluate backdoor attacks and defenses in federated learning. This benchmark suite enables significant experimental acceleration via multiprocessing, and facilitates seamless integration of novel methods through its modular design. BackFed offers a standardized evaluation pipeline that allows researchers to comprehensively and reliably assess new attacks and defenses in a plug-and-play environment. BackFed integrates multiple established benchmark datasets including CIFAR-10, MNIST, and TinyImageNet, and simulates data partitioning across clients via Dirichlet and uniform distributions. BackFed supports classification tasks in computer vision, as well as sentiment analysis and next-word prediction tasks in natural language processing.

原始信息汇总

BackFed数据集概述

数据集基本信息

• 名称：BackFed: An Efficient & Standardized Benchmark Suite for Backdoor Attacks in Federated Learning
• 类型：联邦学习后门攻击基准测试套件
• 特点：集成Ray并行执行、Hydra配置管理，模块化架构设计
• 性能优势：相比现有代码库可实现2X-10X训练速度提升

核心功能

• 模块化架构：支持攻击/防御/模型/数据集的灵活扩展
• 并行执行：支持Ray框架下的并行训练模式
• 资源监控：客户端训练和服务器聚合的资源使用跟踪
• 攻击防御库：标准化实现多种攻击和防御方法
• 配置系统：基于Hydra的灵活实验配置

支持的数据集

数据集	类型	类别数	任务	数据分割
CIFAR10	计算机视觉	10	图像分类	✓
CIFAR100	计算机视觉	100	图像分类	✓
MNIST	计算机视觉	10	图像分类	✓
EMNIST	计算机视觉	62	图像分类	✓
FEMNIST	计算机视觉	62	图像分类	✓
TinyImageNet	计算机视觉	200	图像分类	✓
Reddit	自然语言处理	-	词语预测	✓
Sentiment140	自然语言处理	2	情感分类	✓

支持的模型架构

模型	领域	架构	兼容数据集
ResNet18	计算机视觉	残差网络	CIFAR10/100, TinyImageNet
MNISTNet	计算机视觉	简单CNN	MNIST, EMNIST, FEMNIST
Transformer	自然语言处理	Transformer	Reddit, Sentiment140
WordModel	自然语言处理	LSTM/RNN	Sentiment140

攻击方法实现

模型投毒

• Base标准投毒
• Neurotoxin(针对特定神经元)
• Chameleon(自适应防御机制)

数据投毒

• Pattern(可见模式触发)
• BadNets(经典后门攻击)
• Blended(混合触发模式)
• A3FL(自适应攻击)

防御方法实现

客户端防御

• FedProx(添加近端项)
• WeakDP(差分隐私)

鲁棒聚合

• TrimmedMean(修剪极端更新)
• MultiKrum(选择相近更新)
• FLTrust(基于信任的聚合)

异常检测

• FoolsGold(相似性检测)
• DeepSight(聚类检测)
• FLARE(MMD异常检测)

实验配置

• 核心参数：聚合方法/训练轮数/客户端数量
• 资源管理：GPU设备分配/CPU核心数
• 攻击配置：投毒方法/学习率/训练周期
• 评估设置：联邦评估/验证集分割

项目结构

FL_BackdoorBench/ ├── config/ # 配置文件 ├── backfed/ # 核心框架 ├── experiments/ # 示例脚本 ├── data/ # 原始数据 ├── data_splits/ # 数据分区 └── checkpoints/ # 模型检查点

使用方式

bash

基础用法

python main.py

自定义实验

python main.py dataset=CIFAR10 model=ResNet18

启用攻击

python main.py atk_config=cifar10_multishot

启用防御

python main.py aggregator=trimmed_mean

许可协议

• MIT License

搜集汇总

数据集介绍

构建方式

BackFed Benchmark Suite的构建采用了模块化设计和并行化训练策略，以标准化联邦学习中的后门攻击与防御评估。该数据集通过Ray包实现多进程模拟客户端训练，显著提升了实验效率。其架构分为服务器、客户端和毒化模块三大核心组件，支持灵活集成新算法。数据集涵盖计算机视觉（CIFAR-10、MNIST）和自然语言处理（Sentiment140、Reddit）任务，采用Dirichlet分布模拟非独立同分布数据划分，并整合了LEAF框架的自然非IID数据集。

特点

BackFed的核心特点在于其标准化评估流程与跨领域覆盖能力。通过Hydra包实现即插即用的评估环境，支持14种攻击方法（包括固定模式、动态模式等数据毒化策略）和17种防御机制（如鲁棒聚合、异常检测）。数据集特别强调现实约束条件，例如通信开销和计算成本，并采用多指标评估体系（攻击成功率ASR、防御精度ACC等）。其并行化架构在CIFAR-10实验中将训练速度提升7倍，且模块化设计允许通过明确定义的API快速扩展新方法。

使用方法

使用BackFed需通过GitHub仓库获取框架，配置YAML文件定义实验参数（如攻击频率、客户端选择方案）。研究人员可通过继承预定义的Server/Client类实现新算法，利用PoisonModule管理触发器注入。评估阶段支持t-SNE可视化、Grad-CAM解释等技术分析模型行为。典型工作流程包括：1) 加载预处理的非IID数据集；2) 配置攻击/防御模块参数；3) 启动并行化训练；4) 通过AnalysisModule生成攻击持久性（Lifespan）和防御有效性（FPR）等指标。框架提供预训练模型加速实验，避免从头训练的开销。

背景与挑战

背景概述

BackFed Benchmark Suite是由Thinh Dao等研究人员于2025年提出的一个针对联邦学习（Federated Learning, FL）中后门攻击的标准化基准测试套件。该数据集由VinUni-Illinois Smart Health Center、VinUniversity和Vanderbilt University等机构联合开发，旨在解决联邦学习系统中后门攻击评估的标准化问题。随着联邦学习在医疗、金融等隐私敏感领域的广泛应用，后门攻击成为其面临的主要安全威胁之一。BackFed通过提供模块化设计、并行化训练和标准化评估流程，显著提升了后门攻击与防御方法评估的效率和可靠性，对推动联邦学习安全研究具有重要意义。

当前挑战

BackFed Benchmark Suite面临的挑战主要包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，联邦学习中的后门攻击具有高度动态性和隐蔽性，攻击者可能通过数据投毒或模型投毒等方式植入后门，而现有防御方法在应对多样化攻击策略时效果有限。在构建过程方面，数据集需要模拟真实的非独立同分布（non-IID）数据环境，同时支持计算机视觉和自然语言处理等多种任务，这对数据集的多样性和复杂性提出了较高要求。此外，确保评估流程的公平性和可重复性，以及处理大规模联邦学习模拟中的计算资源消耗，也是构建过程中的重要挑战。

常用场景

经典使用场景

BackFed Benchmark Suite 主要用于评估联邦学习（FL）系统中后门攻击和防御方法的有效性。该数据集通过标准化的实验设置和评估流程，为研究人员提供了一个公平、可复现的平台，用于比较不同攻击和防御策略的性能。特别是在计算机视觉（CV）和自然语言处理（NLP）任务中，BackFed 支持多种模型架构和数据分布场景，帮助研究者全面了解后门攻击的影响及其防御方法的局限性。

实际应用

在实际应用中，BackFed 可用于评估联邦学习系统在隐私敏感领域（如医疗、金融）中的安全性。例如，医院联盟通过联邦学习协作训练疾病诊断模型时，可利用 BackFed 检测潜在的后门攻击风险，并验证防御方法的有效性。其支持的轻量级模型（如 ResNet-18、ALBERT）和自然非独立同分布（Non-IID）数据（如 FEMNIST）进一步增强了其在真实场景中的适用性。

衍生相关工作

BackFed 的发布催生了一系列针对联邦学习后门安全的研究工作。例如，基于其标准化评估流程，研究者提出了新型动态模式攻击（如 IBA）和鲁棒聚合防御（如 RLR）。相关经典工作包括《Neurotoxin: Durable Backdoors in Federated Learning》和《FLTrust: Byzantine-Robust Federated Learning via Trust Bootstrapping》，这些研究均利用 BackFed 验证了方法的有效性，并进一步扩展了其在多模态任务中的适用性。