FLBench

FLBench是一个针对联邦学习的基准套件，涵盖医疗、金融和AIoT三个领域。该数据集包含四个子数据集，分别来自医疗领域的ADNI和MIMIC-III、金融领域的Adult dataset以及AIoT领域的iNaturalist-User-120k。FLBench旨在评估联邦学习系统与算法的多个关键方面，如通信效率、场景转换、隐私保护、数据分布异质性和合作策略。通过提供可配置的场景，FLBench支持开发新型联邦学习算法，并已作为自动化部署工具开源，适用于多种平台。

FLBench is a benchmark suite for federated learning, covering three domains: healthcare, finance, and AIoT. It includes four sub-datasets, namely ADNI and MIMIC-III from the healthcare domain, the Adult dataset from the finance domain, and iNaturalist-User-120k from the AIoT domain. FLBench aims to evaluate multiple key aspects of federated learning systems and algorithms, such as communication efficiency, scenario transfer, privacy protection, data distribution heterogeneity, and collaboration strategies. By providing configurable scenarios, FLBench supports the development of novel federated learning algorithms, and it has been open-sourced as an automated deployment tool compatible with multiple platforms.

搜集汇总

数据集介绍

构建方式

FLBench 数据集的构建旨在模拟真实世界中的数据孤岛场景，以评估联邦学习系统与算法的通信效率、场景转换、隐私保护、数据分布异构性和协作策略等关键方面。该数据集包含了三个领域：医疗、金融和AIoT。构建过程中，首先选取了医疗、金融和AIoT三个最具代表性的领域，并收集了这些领域中的实际数据。随后，对这些数据进行复杂的数据预处理，以确保数据的质量和可用性。在场景配置阶段，FLBench 提供了可定制的场景，以满足不同研究的需求。最后，为了方便用户部署和使用，FLBench 还设计了一个自动部署工具。

特点

FLBench 数据集的特点在于其真实性和可定制性。该数据集包含了医疗、金融和AIoT三个领域的实际数据，能够更好地模拟真实世界中的数据孤岛场景。此外，FLBench 还提供了可定制的场景，以满足不同研究的需求。这使得FLBench成为一个具有广泛适用性的联邦学习算法开发平台。

使用方法

FLBench 数据集的使用方法包括以下步骤：首先，用户需要根据自己的研究需求选择相应的领域和场景。其次，用户需要使用FLBench提供的API进行场景配置。最后，用户可以使用FLBench自动部署工具将场景部署到不同的平台上，并进行联邦学习算法的开发和测试。

背景与挑战

背景概述

在人工智能领域，联邦学习（Federated Learning，FL）作为一种新的机器学习范式，旨在构建一个机器学习模型，同时保持数据的安全和隐私。FLBench数据集由广西师范大学计算机科学系的多源信息挖掘与安全广西重点实验室、中国科学院计算技术研究所以及桂林电子科技大学可信软件广西重点实验室的研究人员联合创建。该数据集的创建时间可以追溯到2021年3月，其核心研究问题在于如何构建一个能够模拟真实世界数据孤岛场景的联邦学习系统，并在此基础上评估联邦学习系统与算法的性能。FLBench数据集的提出，对联邦学习领域的研究产生了深远的影响，为开发新的联邦学习算法提供了一个有价值的平台。

当前挑战

FLBench数据集面临的挑战主要包括：1)如何模拟真实世界的孤立数据岛场景，包括数据分布的非独立同分布（Non-IID）特性、通信效率、隐私保护、数据异构性和合作策略等方面的挑战；2)如何构建一个能够适应未来发展的联邦学习基准，包括提供更多的场景和相关的API，并使其能够部署在不同的平台上。

常用场景

经典使用场景

FLBench作为一个联邦学习的基准测试套件，涵盖了医疗、金融和AIoT三个领域。它为联邦学习系统与算法的评估提供了多样化场景，能够模拟现实世界的孤立数据岛场景，包括通信、场景转换、隐私保护、数据分布异构性和合作策略等方面。这使得FLBench成为开发新型联邦学习算法的潜在平台。

解决学术问题

FLBench解决了现有联邦学习基准测试套件未能捕捉现实世界孤立数据岛内在特征的问题。它通过提供各种定制场景，为联邦学习算法的研究提供了真实世界的应用场景，有助于开发出更符合实际需求的联邦学习算法。

衍生相关工作

FLBench的发布促进了联邦学习领域的研究进展。它衍生了更多针对特定领域和场景的联邦学习算法，如医疗诊断、金融风险评估和AIoT设备协同学习等。这些研究工作进一步推动了联邦学习技术的实用化和商业化进程。