five

iAnomaly Performance Anomaly Dataset|边缘计算数据集|性能异常检测数据集

收藏
arXiv2024-11-05 更新2024-11-07 收录
边缘计算
性能异常检测
下载链接:
http://arxiv.org/abs/2411.02868v1
下载链接
链接失效反馈
资源简介:
iAnomaly性能异常数据集是由墨尔本大学Cloud Computing and Distributed Systems (CLOUDS)实验室创建的,旨在模拟边缘云集成计算环境中的微服务架构性能异常。该数据集包含多个微服务架构的物联网应用,涵盖了不同的服务质量(QoS)和资源需求,并通过引入多种异常来捕捉真实边缘环境的特征。数据集的创建过程利用了开源工具和全系统模拟器,自动生成标注的正常和异常数据。该数据集主要应用于边缘计算环境中的性能异常检测研究,旨在解决现有数据集缺乏和真实边缘环境难以访问的问题。
提供机构:
墨尔本大学计算与信息系统学院
创建时间:
2024-11-05
AI搜集汇总
数据集介绍
main_image_url
构建方式
iAnomaly Performance Anomaly Dataset的构建基于iAnomaly框架,该框架是一个配备开源工具和全自动化数据集生成能力的全系统模拟器。通过用户定义的配置,iAnomaly能够生成标记为正常和异常的数据。具体而言,该数据集捕捉了多个基于微服务的物联网应用在异构QoS和资源需求下的性能数据,并引入了多种异常情况。这一过程通过iAnomaly的自动化数据生成和收集功能实现,确保了数据集的真实性和代表性。
使用方法
iAnomaly Performance Anomaly Dataset适用于边缘计算环境中的性能异常检测研究。研究人员可以使用该数据集来训练和评估性能异常检测算法。数据集的开放性和详细的使用说明使得研究人员能够轻松地复现和扩展相关实验。此外,iAnomaly框架的自动化数据生成功能也为研究人员提供了便捷的数据生成工具,使得他们能够根据需要生成更多定制化的数据集。
背景与挑战
背景概述
随着物联网(IoT)应用的模块化和边缘计算环境的异构性增加,微服务架构在这些环境中得到了广泛应用。然而,这些微服务架构的IoT应用容易受到资源争用和资源占用等性能异常的影响,从而影响其服务质量(QoS)并违反服务级别协议(SLA)。现有的边缘计算环境中的性能异常检测研究受限于缺乏公开的边缘性能异常数据集或难以访问真实的边缘环境。为了填补这一空白,Duneesha Fernando、Maria A. Rodriguez和Rajkumar Buyya等人提出了iAnomaly工具包,该工具包通过全系统模拟器和自动化数据集生成能力,生成了基于用户定义配置的正常和异常数据。该数据集捕捉了多个具有异构QoS和资源需求的微服务IoT应用的性能数据,并引入了多种异常,有效地代表了真实边缘环境的特征。
当前挑战
iAnomaly数据集面临的挑战主要集中在两个方面:一是解决边缘计算环境中性能异常检测的领域问题,由于缺乏公开的边缘性能异常数据集,现有的研究多依赖于云数据集或私有边缘环境的数据,这些数据无法准确反映边缘环境的异构性和多样性。二是数据集构建过程中的挑战,包括如何有效地模拟边缘环境、如何自动化生成大规模的性能异常数据集,以及如何确保数据集的高质量和代表性。此外,现有的边缘计算模拟器缺乏必要的工具来收集性能指标、生成正常性能数据和注入性能异常,这也增加了数据集构建的复杂性和难度。
常用场景
经典使用场景
iAnomaly Performance Anomaly Dataset 在边缘计算环境中广泛应用于微服务架构的性能异常检测。该数据集通过模拟多种微服务在边缘设备上的运行情况,捕捉正常和异常状态下的性能数据,为研究人员提供了一个高质量的基准数据集。其经典使用场景包括训练和验证性能异常检测算法,特别是在资源受限和异构的边缘环境中,这些算法需要能够准确识别和分类各种性能异常。
解决学术问题
iAnomaly Performance Anomaly Dataset 解决了边缘计算环境中性能异常检测研究的一个关键问题,即缺乏公开可用的边缘性能异常数据集。通过提供一个包含多种微服务应用和异构QoS需求的标注数据集,该数据集使得研究人员能够在真实且复杂的边缘环境中进行算法训练和评估,从而推动了性能异常检测技术的发展。此外,该数据集的发布也促进了相关领域的研究,为学术界提供了一个标准化的测试平台。
实际应用
在实际应用中,iAnomaly Performance Anomaly Dataset 为边缘计算环境中的性能监控和管理提供了有力支持。通过使用该数据集训练的模型,可以实时监测和预测微服务应用的性能异常,从而及时采取措施避免服务中断或性能下降。例如,在工业物联网中,该数据集可以帮助识别和预防设备故障,提高生产效率和系统可靠性。此外,该数据集还可用于优化资源分配和负载均衡,确保边缘计算环境的高效运行。
数据集最近研究
最新研究方向
在边缘计算与云集成环境中,微服务架构广泛应用于物联网应用的模块化和部署。随着时间的推移,这些基于微服务的物联网应用容易受到资源占用(如CPU或内存)和资源竞争等性能异常的影响,从而影响其服务质量并违反服务级别协议。当前,边缘计算环境中的性能异常检测研究受限于缺乏公开的边缘性能异常数据集或实际边缘环境的不可访问性。为填补这一空白,iAnomaly数据集的最新研究方向集中在开发一个全系统模拟器,该模拟器配备了开源工具和完全自动化的数据集生成能力,以生成基于用户定义配置的正常和异常数据。此外,该研究还发布了一个使用iAnomaly生成的性能异常数据集,该数据集捕捉了具有异构QoS和资源需求的多个微服务物联网应用的性能数据,并引入了多种异常。这一数据集有效地代表了真实边缘环境的特征,并且数据集中的异常数据符合高质量性能异常数据集的标准。
相关研究论文
  • 1
    iAnomaly: A Toolkit for Generating Performance Anomaly Datasets in Edge-Cloud Integrated Computing Environments墨尔本大学计算与信息系统学院 · 2024年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

CE-CSL

CE-CSL数据集是由哈尔滨工程大学智能科学与工程学院创建的中文连续手语数据集,旨在解决现有数据集在复杂环境下的局限性。该数据集包含5,988个从日常生活场景中收集的连续手语视频片段,涵盖超过70种不同的复杂背景,确保了数据集的代表性和泛化能力。数据集的创建过程严格遵循实际应用导向,通过收集大量真实场景下的手语视频材料,覆盖了广泛的情境变化和环境复杂性。CE-CSL数据集主要应用于连续手语识别领域,旨在提高手语识别技术在复杂环境中的准确性和效率,促进聋人与听人社区之间的无障碍沟通。

arXiv 收录

URPC系列数据集, S-URPC2019, UDD

URPC系列数据集包括URPC2017至URPC2020DL,主要用于水下目标的检测和分类。S-URPC2019专注于水下环境的特定检测任务。UDD数据集信息未在README中详细描述。

github 收录

中国气象数据

本数据集包含了中国2023年1月至11月的气象数据,包括日照时间、降雨量、温度、风速等关键数据。通过这些数据,可以深入了解气象现象对不同地区的影响,并通过可视化工具揭示中国的气温分布、降水情况、风速趋势等。

github 收录

koen430/relevant_selected_stock_news

该数据集包含通过GPT-3.5-turbo筛选出的新闻文章,旨在用于微调大型语言模型,以预测新闻发布后的股票价格变动。数据集包括多个特征,如股票代码、提示、文本、URL、结果、相关性、令牌计数等,并分为训练集、验证集和测试集。

hugging_face 收录

Traditional-Chinese-Medicine-Dataset-SFT

该数据集是一个高质量的中医数据集,主要由非网络来源的内部数据构成,包含约1GB的中医各个领域临床案例、名家典籍、医学百科、名词解释等优质内容。数据集99%为简体中文内容,质量优异,信息密度可观。数据集适用于预训练或继续预训练用途,未来将继续发布针对SFT/IFT的多轮对话和问答数据集。数据集可以独立使用,但建议先使用配套的预训练数据集对模型进行继续预训练后,再使用该数据集进行进一步的指令微调。数据集还包含一定比例的中文常识、中文多轮对话数据以及古文/文言文<->现代文翻译数据,以避免灾难性遗忘并加强模型表现。

huggingface 收录