Serverless Benchmark Suite (SeBS)

Serverless Benchmark Suite (SeBS)是由苏黎世联邦理工学院开发的首个针对Function-as-a-Service (FaaS)计算的基准测试套件。该数据集旨在系统性地覆盖广泛的云资源和应用，包括代表性工作负载的规范、配套的实施和评估基础设施，以及促进可重复性和可解释性的评估方法。SeBS通过抽象模型确保其适用于多个商业提供商，如AWS、Azure和Google Cloud，为无服务器系统的实验评估提供标准化、可靠且不断进化的评估方法，旨在解决无服务器计算中的性能、效率、可扩展性和可靠性问题。

Serverless Benchmark Suite (SeBS) is the first Function-as-a-Service (FaaS) computing benchmark suite developed by ETH Zurich. This suite aims to systematically cover a wide range of cloud resources and applications, including specifications for representative workloads, supporting implementation and evaluation infrastructures, as well as evaluation methodologies that promote reproducibility and interpretability. SeBS ensures compatibility with multiple commercial cloud providers such as AWS, Azure and Google Cloud via abstract models, providing standardized, reliable and continuously evolving evaluation methods for experimental evaluation of serverless systems, with the objective of resolving performance, efficiency, scalability and reliability issues in serverless computing.

搜集汇总

数据集介绍

构建方式

SeBS-Flow数据集的构建基于一个平台无关的工作流模型，该模型能够抽象不同云平台的工作流服务差异。通过定义一个统一的Petri Net扩展模型，SeBS-Flow能够表达控制流和任务并行性，并清晰展示函数间的数据流动。数据集包括六个真实世界应用基准和四个微基准，涵盖不同的计算模式。这些基准通过平台特定的生成器被转录为各云平台的专有定义，确保在不同平台上的可执行性和一致性。

特点

SeBS-Flow数据集的主要特点在于其平台无关性和广泛的应用覆盖。通过提供一个统一的模型，它能够支持在多个主要云平台（如AWS、Azure和Google Cloud）上进行一致的性能评估。此外，数据集包含了多种类型的基准，从微观性能测试到复杂的工作流应用，使其能够全面评估服务器无服务工作流的性能、成本、可扩展性和运行时偏差。

使用方法

使用SeBS-Flow数据集时，开发者首先需要根据平台无关的工作流定义语言编写工作流。随后，利用平台特定的生成器将这些工作流转录为各云平台的专有格式。SeBS-Flow集成了自动部署功能，简化了函数到云的部署过程。开发者可以通过SeBS-Flow进行全面的性能测试，包括运行时、成本、可扩展性和稳定性评估，从而选择最适合其应用需求的云平台。

背景与挑战

背景概述

SeBS-Flow数据集由Karlsruhe Institute of Technology和ETH Zürich的研究人员共同创建，旨在解决无服务器云函数工作流在不同平台上的性能评估难题。该数据集的提出背景源于无服务器计算的广泛应用及其在处理复杂用例时的局限性。无服务器工作流通过协调多个函数形成一个连贯的应用程序，但现有平台在编程模型和基础设施上的显著差异使得公平一致的性能评估变得困难。SeBS-Flow通过提供一个平台无关的工作流模型，使得在不同平台上进行一致的基准测试成为可能。该数据集包括六个真实世界应用基准和四个微基准，涵盖了不同的计算模式，并在三个主要云平台上进行了全面的性能、成本、可扩展性和运行时偏差的评估。

当前挑战

SeBS-Flow数据集面临的挑战主要包括两个方面：一是解决领域问题中的挑战，如图像分类中的图像识别精度与计算效率的平衡；二是构建过程中遇到的挑战，如不同平台间编程模型和API的差异导致的公平性问题。此外，数据集在处理复杂控制流、数据依赖性和并行性时，也面临着表达能力和性能开销的挑战。为了应对这些挑战，SeBS-Flow提出了一个统一的工作流模型，并通过平台特定的生成器将工作流转录为各平台专有的定义，从而实现跨平台的可移植性和一致性评估。

常用场景

经典使用场景

SeBS-Flow 数据集的经典使用场景在于评估和比较不同无服务器工作流平台（如 AWS Step Functions、Google Cloud Workflows 和 Azure Durable Functions）的性能、成本、可扩展性和运行时偏差。通过提供一个平台无关的工作流模型，该数据集允许开发者在多个平台上运行相同的工作负载，从而实现一致的基准测试。

衍生相关工作

SeBS-Flow 数据集的提出催生了一系列相关工作，包括对无服务器工作流编程模型的进一步研究、性能优化策略的探索以及新的基准测试方法的开发。例如，AFCL（Abstract Function Choreography Language）是一种基于 SeBS-Flow 的平台无关工作流规范语言，用于无服务器工作流的描述和优化。

数据集最近研究

最新研究方向

在无服务器计算领域，SeBS-Flow数据集的前沿研究方向主要集中在跨平台无服务器工作流的性能评估与优化。研究者们通过构建平台无关的工作流模型，实现了在不同云平台（如AWS、Azure和Google Cloud）上的一致性基准测试。这一研究不仅揭示了各平台在性能、成本、可扩展性和运行时偏差方面的差异，还为开发者提供了关于如何选择合适平台的宝贵见解。此外，研究还关注了无服务器工作流在科学计算中的应用，探讨了其在处理复杂科学工作流时的表现和成本效益，进一步推动了无服务器计算在科学研究中的应用。

相关研究论文

• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows

  卡尔斯鲁厄理工学院，苏黎世联邦理工学院 · 2024年