基于实际流量痕迹的非独立同分布和失衡联邦数据集

该数据集是基于Abilene骨干网络的实际流量数据构建的，包含了12个节点和30个链接之间每5分钟一次的比特率信息，覆盖了6个月的时间段。数据集被划分为代表每个节点的聚合比特率，并使用滑动窗口方法生成了包含过去和当前流量观测值的序列。数据集经过标准化处理，并划分为训练集、验证集和测试集。

This dataset is constructed based on real traffic data from the Abilene backbone network. It contains 5-minute interval bitrate information between 12 nodes and 30 links, spanning a 6-month period. The dataset is split into aggregated bitrates representing each node, and a sliding window method is utilized to generate sequences incorporating both past and current traffic observations. Furthermore, the dataset has undergone standardization and is partitioned into training, validation, and test sets.

搜集汇总

数据集介绍

构建方式

该数据集基于实际流量痕迹构建，旨在为弹性光网络提供非独立同分布和失衡的联邦数据集。数据集的构建过程中，考虑了不同运营商可能管理不同光学节点的情况，从而模拟了实际网络环境中数据分布的非均匀性。数据集的生成使用了真实的网络流量数据，并通过对部分数据集引入噪声，进一步增加了数据集的异质性，使其更加接近现实世界中的网络流量情况。

特点

该数据集的主要特点在于其非独立同分布和失衡的特性，这使得其在联邦学习框架下的应用更具挑战性。同时，数据集基于真实世界流量痕迹，具有较强的现实意义和应用价值。此外，数据集的构建还考虑了不同运营商管理不同节点的情况，进一步增强了数据集的实用性和适用性。

使用方法

该数据集可用于评估联邦学习框架在网络流量预测和资源分配方面的性能。通过对不同q值的q-FFL框架进行测试，可以评估公平性对预测准确性和资源分配的影响。此外，该数据集还可用于研究网络流量预测的公平性问题，以及如何通过调整q值来平衡预测准确性和公平性。

背景与挑战

背景概述

随着6G网络、物联网和虚拟现实、智能医疗、智慧城市等应用的兴起，网络连接的需求持续增长。网络服务提供商面临着升级基础设施以适应不断增长的流量需求，同时最小化资本和运营支出的挑战。利用先进的机器学习框架来提供流量驱动的服务，已经在有效规划和运营网络方面取得了显著成效。数字孪生技术作为一种新兴的范式，在下一代网络的有效运营中发挥着重要作用。数字孪生是一种实时的数字世界中的物理实体的数字副本，已经在工业4.0、制造、能源和医疗保健等领域得到成功应用。在电信网络中，数字孪生，尤其是当它被人工智能/机器学习赋能时，可以真实地模拟物理网络，实时数字化相关事件，最终提供预防性网络维护、服务质量控制、网络规划和主动网络（重新）优化。然而，数字孪生面临的主要挑战是如何有效地实现准确的网络流量预测，并在各种运营商之间共享网络资源的同时，增强每个运营商的数据隐私和安全。边缘计算技术的集成提供了一种有前景的解决方案，特别是通过在网络边缘实现智能化。分布式机器学习是边缘智能的核心，特别是联邦学习，它允许在保持数据本地化的同时，在分布式客户端之间进行学习，从而避免转移原始数据。这种分布式学习方法不仅缓解了隐私和安全问题，还降低了通信成本，使其成为实时、隐私敏感数据处理应用的理想框架。

当前挑战

联邦学习在确保来自异构数据的协作训练贡献的公平性方面，以及在缓解模型预测中对敏感属性的偏差方面，提出了新的挑战。为了解决这些挑战，提出了一个公平的联邦学习框架，用于协作网络流量预测和资源分配。为了证明所提出方法的有效性，利用基于实际流量痕迹的非独立同分布和失衡联邦数据集，用于弹性光网络。该假设是不同的光节点可能由不同的运营商管理。公平性根据运营商之间的准确性系数变异度指标以及在连接（即反映最终用户体验）方面的服务质量进行评估。结果表明，运营商之间的公平流量预测导致连接之间的公平资源分配。该框架非常适合多样化和隐私敏感的网络环境，可以与数字孪生相结合，以有效地进行流量预测和资源分配，同时增强隐私和安全。

常用场景

经典使用场景

在5G及更高级别的网络环境中，数据集被用于实现网络流量预测和资源分配的联邦学习框架，以支持不同的网络运营商在保护数据隐私和安全性方面进行合作，同时提高网络性能和用户体验。

衍生相关工作

基于该数据集的工作衍生了关于公平联邦学习的其他相关研究，例如公平资源分配和模型训练中的公平性优化，以及将联邦学习框架应用于数字孪生网络等。

数据集最近研究

最新研究方向

基于实际流量痕迹的非独立同分布和失衡联邦数据集的最新研究方向集中在利用联邦学习框架实现网络流量预测和资源分配的公平性。这一研究通过q-Fair FL (q-FFL)方案，引入了一种机制来提高公平性，通过关注具有较高经验损失的客户端的性能来实现。研究结果表明，随着q值的增加，不同运营商之间的预测准确性的一致性得到改善。此外，公平的流量预测模型也导致了更公平的服务质量（QoS）资源分配，这对于弹性光网络中的资源使用具有重要意义。这项工作为多样化的隐私敏感网络环境提供了一套有效的框架，可以与数字孪生技术相结合，以实现有效的流量预测和资源分配，同时增强隐私和安全。

相关研究论文

• A Fair Federated Learning Framework for Collaborative Network Traffic Prediction and Resource Allocation

  国立理工学院鲁尔克拉电子与通信工程系，塞浦路斯尼科西亚大学KIOS卓越中心和电气与计算机工程系 · 2025年