CHESTNUT

CHESTNUT数据集是由上海大学计算机工程与科学学院创建的，专门用于移动边缘环境中的服务质量（QoS）预测。该数据集包含来自上海Johnson出租车和上海电信的真实数据，记录了用户移动性、边缘服务器资源负载和服务多样性等信息。数据集大小约为720万条记录，涵盖了用户和边缘服务器的时空序列信息。创建过程中，数据经过预处理和转换，以模拟真实的移动边缘环境。CHESTNUT数据集主要应用于移动边缘计算中的QoS预测，旨在解决动态环境中服务质量预测的挑战。The CHESTNUT Dataset was created by the School of Computer Engineering and Science, Shanghai University, and is specifically dedicated to quality of service (QoS) prediction in mobile edge computing environments. This dataset comprises real-world data sourced from Shanghai Johnson Taxis and Shanghai Telecom, recording information including user mobility, edge server resource load, and service diversity. With a scale of approximately 7.2 million records, it covers spatiotemporal sequence information of both users and edge servers. During its development, the data underwent preprocessing and transformation to simulate realistic mobile edge computing scenarios. The CHESTNUT Dataset is primarily utilized for QoS prediction in mobile edge computing, with the goal of addressing the challenges of service quality prediction in dynamic environments.

搜集汇总

数据集介绍

构建方式

CHESTNUT数据集的构建基于上海的两个真实世界数据集：上海强生出租车数据集和上海电信数据集。前者提供了出租车的GPS信息，包括经纬度、移动方向和速度，用于模拟用户的移动数据；后者提供了基站的经纬度信息，用于模拟边缘服务器的数据。通过对这两个数据集的预处理和转换，研究人员生成了边缘服务器数据、用户数据、服务数据和调用数据，确保数据格式符合研究需求。此外，数据集还定义了计算QoS值的范式，基于边缘环境的独特特征，为后续的QoS预测模型奠定了坚实的基础。

特点

CHESTNUT数据集的主要特点在于其对时间和地理位置信息的精确记录，这在现有的QoS数据集中较为罕见。数据集不仅包含了传统的QoS维度，如带宽、延迟、抖动和数据包丢失率，还特别关注了用户在请求服务时的动态属性，如时间戳和地理位置。这种动态属性的记录对于理解和预测网络服务的实际性能至关重要，因为QoS性能通常会随着时间和地理位置的变化而波动。

使用方法

研究人员可以利用CHESTNUT数据集来开发和验证模型，以应对移动边缘计算带来的复杂挑战。数据集提供了丰富的用户移动性、边缘服务器资源负载和服务多样性信息，为模型训练提供了真实的环境模拟。通过分析用户在不同时间和服务请求中的行为，研究人员可以更准确地预测QoS，从而优化资源分配和服务质量。此外，数据集的构建方法和范式也为未来的研究提供了参考，推动边缘计算技术的发展和应用。

背景与挑战

背景概述

在数字化时代，服务质量（Quality of Service, QoS）已成为网络服务领域的基础关注点。QoS受多种因素影响，包括服务部署条件、用户请求位置和网络环境的适应性。随着用户对在线服务，特别是实时应用的期望不断提高，QoS直接影响用户体验和满意度。因此，对QoS的有效监控、预测和优化已成为学术界和工业界的关键研究焦点。QoS的关键指标，如延迟、带宽、丢包率和可用性，共同提供了对服务性能的综合评估。在Web服务领域，众多研究人员致力于通过多样化的算法预测和提升QoS，以确保在高负载条件下的稳定和可靠服务。随着用户数量和请求频率的增加，传统的Web服务架构常常面临高延迟和带宽不足的挑战，这会严重影响用户体验。因此，QoS对于Web服务至关重要，它在提高用户满意度和系统效率方面发挥着关键作用。准确预测QoS可以帮助服务提供商优化资源分配。协作过滤已成为预测缺失QoS值的突出技术，通常分为基于记忆和基于模型的方法。基于记忆的方法利用用户设备的历史QoS调用数据，评估用户或服务之间的相似性，以形成可比较的邻域来预测缺失的QoS值。然而，这些方法通常面临数据稀疏性问题，难以计算准确的相似性，从而影响预测质量。为了缓解这一问题，基于模型的协作过滤旨在从历史记录中开发模型，提取用户和服务之间的潜在语义特征，以提高预测准确性。各种研究已经引入了创新的基于模型的方法来解决Web服务QoS预测中的稀疏性问题。例如，Chen Wu等人提出了一种结合历史QoS数据和协作过滤的时间感知和稀疏容忍方法，而Mingdong Tang等人则采用了基于位置的数据平滑来提高预测准确性。此外，Kai Su等人开发了一种结合基于记忆和基于模型技术的混合方法，利用邻居信息来解决稀疏数据挑战。Qiong Zhang等人基于协作过滤引入了服务排名机制，利用调用和查询历史来推断用户行为并计算相似性。时间因素也被整合到各种模型中，以考虑QoS随时间的变化，时间增强协作过滤（TRCF）和动态图神经协作学习等方法在时间感知的QoS预测中展示了优越的性能。尽管取得了这些进展，基于协作过滤的方法仍然面临数据稀疏性和无法有效整合时间及空间上下文信息的重大挑战。QoS性能通常受多种因素影响，如一天中的时间、用户位置和网络条件，但传统的协作过滤技术未能充分利用这些上下文信息进行更准确的预测。这凸显了探索能够整合这些动态因素以提高QoS预测有效性和准确性的更高级算法的迫切需求。近年来，深度学习方法在服务推荐中的QoS预测方面显著增加。这些方法旨在通过有效捕捉用户和服务之间的复杂关系来提高预测准确性。例如，Zhang等人引入了一种利用用户和服务图的双流深度学习模型，而Jin等人开发了一种结合top-k邻居的邻域感知深度学习方法。此外，Awanyo和Guermouche提出了一种基于深度神经网络的物联网服务QoS预测方法，结合长短期记忆（LSTM）网络和ResNet以提高准确性。Zou等人提出了一种具有残差连接的双塔深度神经网络，通过将深度学习与协作过滤相结合，提取用户和服务的相似特征，增强自适应QoS预测。最近的研究还转向开发分布式QoS预测模型，这些模型在保持准确性的同时优先考虑数据隐私和安全。DISTINQT框架将原始输入数据编码为非线性潜在表示，实现了与集中式模型相当的性能。FHC-DQP框架结合联邦学习和层次聚类，在保护用户隐私的同时提高了预测准确性。Zou等人提出了一种名为联邦残差梯形网络（FRLN）的新模型，专注于数据保护的QoS预测，结合联邦学习和残差网络的优势，在多个节点之间共享学习结果，同时保护用户数据隐私。鉴于这一背景，高效准确地预测QoS至关重要。目前，研究人员主要依赖WS-DREAM数据集进行模型训练和验证；然而，该数据集并不适合移动边缘环境。边缘设备的QoS可能会随着用户的移动而动态变化，这与基于传统Web服务的静态预测形成对比，使得传统方法难以处理边缘计算中的复杂性。随着5G和云边缘环境的快速发展，Everything-as-a-Service（XaaS）的兴起促进了服务从云到边缘的逐步过渡。这一转变显著增强了服务的灵活性和响应性，使边缘设备能够直接与边缘系统通信和计算服务，从而避免了通过回程链路路由到远程云服务器的延迟。因此，网络延迟大大降低，提供了更流畅的用户体验，但也对QoS预测提出了更高的要求。在这种动态环境中，移动边缘环境中的QoS预测变得尤为关键。边缘设备的变化性和用户行为的多样性挑战了传统QoS预测模型以适应新的需求。因此，迫切需要一个专门为移动边缘环境定制的QoS预测数据集，以支持更准确的模型训练和验证。这一举措不仅将提高预测准确性，还将为未来的研究和边缘计算技术的发展和应用奠定坚实的基础。因此，我们构建了一个专门为移动边缘环境设计的QoS数据集，解决了动态环境中QoS预测的需求。该数据集结合了用户移动性、边缘服务器资源负载和服务多样性，提供了更真实的操作环境模拟。此外，我们基于边缘环境的独特特征定义了一种计算QoS值的范式，从而为移动边缘场景中的后续QoS预测模型建立了强大的数据基础。通过利用该数据集，研究人员可以更有效地开发和验证模型，以应对移动边缘计算带来的复杂挑战。

当前挑战

CHESTNUT数据集在构建过程中面临多个挑战。首先，现有的QoS数据集主要关注网络服务的静态QoS指标，忽略了时间、地理位置等动态属性。这些动态属性对于理解和预测网络服务的实际性能至关重要，因为QoS性能通常随时间和地理位置波动。其次，数据集的构建需要准确记录收集过程中服务质量的时间和地理位置信息，这增加了数据收集和处理的复杂性。此外，数据集的生成需要模拟用户移动性、边缘服务器资源负载和服务多样性，这要求对现实环境进行高度逼真的模拟。最后，数据集的生成还需要考虑边缘环境中的动态因素，如用户位置、网络条件和时间变化，这些因素对QoS预测模型的准确性和可靠性提出了更高的要求。

常用场景

经典使用场景

CHESTNUT数据集在移动边缘环境中被广泛用于服务质量（QoS）预测。其经典应用场景包括通过分析用户请求的时间和地理位置动态变化，预测边缘服务器的服务质量指标，如带宽、延迟和数据包丢失率。这种预测对于优化资源分配、提升用户体验和确保服务稳定性至关重要。

实际应用

在实际应用中，CHESTNUT数据集被用于开发和验证移动边缘计算中的QoS预测模型。这些模型可以应用于智能交通系统、物联网设备管理和实时视频流处理等领域，帮助优化网络资源分配，减少延迟，提高服务质量，从而提升整体用户体验。

衍生相关工作

基于CHESTNUT数据集，研究者们开发了多种先进的QoS预测模型，如时间增强的协同过滤（TRCF）和联邦残差梯形网络（FRLN）。这些模型不仅提高了预测精度，还增强了数据隐私保护。此外，数据集还激发了对分布式QoS预测模型的研究，如DISTINQT框架，这些工作在提升预测性能的同时，也关注了数据安全和隐私问题。