ContinuumBench

ContinuumBench是一个专为云-边连续体设计的联合自动缩放与放置基准测试框架，由意大利国家研究委员会、比萨大学和路易斯大学的研究团队共同开发。该框架基于ECLYPSE模拟器，定义了四个典型场景（EO双流、驾驶V2X、分割推理和工业IoT），并通过受控的评估机制和压力源来隔离不同控制杠杆的影响。数据集创建过程中扩展了ECLYPSE的固定底层模型，加入了任务到达、弹性工作池、间歇性传输、缓冲和失败处理等运行时动态。该基准旨在解决现有评估中因配置隐式假设和指标选择导致的结论依赖性问题，为云-边资源管理控制器提供公平、可重复的比较环境。ContinuumBench is a joint auto-scaling and placement benchmark framework purpose-built for the cloud-edge continuum, developed by research teams from the National Research Council of Italy, the University of Pisa, and LUISS University. Built on the ECLYPSE simulator, it defines four canonical scenarios: EO dual-stream, vehicular V2X, split inference, and industrial IoT, and isolates the impact of distinct control levers via controlled evaluation mechanisms and stressors. During the dataset curation process, the fixed underlying model of ECLYPSE was extended to incorporate runtime dynamics including task arrival, elastic worker pools, intermittent data transmission, buffering, and failure handling. This benchmark aims to mitigate conclusion dependency issues caused by implicit configuration assumptions and metric selection in existing evaluations, providing a fair and reproducible comparative environment for cloud-edge resource management controllers.

原始信息汇总

ContinuumBench是一个用于云-边-端连续体（cloud-edge continuum）基准测试的公开工具包，专注于可复现的部署（placement）和自动扩缩容（autoscaling）实验，支持间歇性链路环境。它覆盖云、边缘、物联网和太空等多个层级，用于联合研究部署策略、工作池扩缩容、间歇链路传输以及存储转发行为。

核心特性

• 默认与Eclypse集成：应用图、基础设施图、部署视图、结构路径查找、节点可用性视图、路由成本计时、图更新策略和原生部署策略均直接采用Eclypse的实现。
• 在Eclypse之上增加了基准测试协议逻辑、工作负载队列、临时接触可达性、控制器策略、可靠性和能耗指标、自适应控制器接口以及跨运行分析能力。

安装要求

• 需要Python 3.10+。
• 依赖外部基座Eclypse，固定版本为0.8.1（commit 73806b7）。
• 可通过pip install -e ".[milp,figures,dev]"安装核心及可选依赖（MILP需要scipy/numpy，绘图需要matplotlib，测试需要pytest）。
• 支持通过ECLYPSE_HOME环境变量指向已有的Eclypse检出目录，或通过git克隆并切换到指定版本安装。

仓库内容

• src/：独立的continuum_benchPython包。
• configs/：示例基准配置及基于轨迹的变体。
• tests/：回归测试套件。
• sweeps/和analysis/：论文发布用的批量实验和分析管道。
• 包含基线控制器（平凡、启发式、oracle风格）的实现。
• 提供多级README（src/README.md、configs/README.md、sweeps/README.md、analysis/README.md等）用于导航。

使用方式

• 运行基准：通过命令行执行，例如python -m continuum_bench.cli run --config configs/eo_small.yaml --controller separated_loops --seed 0 --out runs/。
• 汇总结果：运行python -m continuum_bench.cli summarize --run_dir runs/<run_id>重写summary.json。
• 配置示例包括：EO双流（eo_small.yaml）、驾驶/V2X（driving_small.yaml）、拆分推理（split_inference_small.yaml）、工业物联网（industrial_iot_small.yaml）及其基于轨迹的变体。
• 分析评估使用evaluation_regime轴：F0（确定性合成基线）、F1（接触/移动感知执行）、F2（校准轨迹执行）。能耗核算和节点故障作为压力覆盖层，不对应独立的评估点。

场景

• eo_dual_stream：融合太空流和物联网流，通过分诊路由到快速和批量处理路径。
• driving_v2x：车辆到边缘的感知、跟踪、规划及卸载敏感执行。
• split_inference：边缘优先推理，可选云增强。
• industrial_iot：面向控制的工业流及批量/归档路径。

控制器

文档列出了九种控制器变体（通过--controller指定），分为：

• 仅部署类：round_robin、best_fit、placement_only:cost_greedy、placement_only:milp。
• 自动扩缩容类：hpa、keda。
• 联合类：separated_loops（论文中的联合扩缩容与部署启发式）。
• 基于规则基线：learned_stub（特征规则）、rl_meta（元规则）。
• 额外支持极端/附加部署基线（static、no_scaling、all_local、all_edge、all_cloud）。

Eclypse边界

• Eclypse负责基座行为：应用和基础设施资产、符号部署层、资源可行性、结构路径查找、路径资源聚合、路由成本传输延迟、更新策略图变更。
• ContinuumBench仅维护Eclypse未定义的原语：队列和缓冲区动态、临时接触可达性、周期级链路预算核算、随机节点故障场景生成、基于Eclypse声明的功率资产随时间积分计算能耗、奖励记录和离线分析。
• 周期级资源记录提供resources.reserved（Eclypse部署视图预留）和resources.active_runtime（队列加权的活动运行时需求）两类视图。

复现实验

• make smoke：快速端到端检查。
• make reproduce：完整复现（所有sweeps + 分析 + 图表，约需1 CPU小时）。
• make test：回归测试，包括固定的头条数字。
• 输出写入runs/main/analysis/grouped_strict.csv和figs/。

扩展机制

• 添加控制器或场景无需编辑运行器：可放置controllers/extensions_local.py或scenarios/extensions_local.py模块，通过对应的extensions.py钩子按需加载。

验证

• 运行pytest tests -q，测试套件确定性且快速。Eclypse相关测试在无法导入时会自动跳过。
• tests/test_golden_headline.py在本地运行产物存在时固定论文头条数字。

输出文件

每次运行目录包含：

• metadata.json：运行元数据。
• epochs.jsonl：周期级详细记录。
• decision_trajectory.jsonl：周期级状态、动作、结果和奖励记录。
• epochs.csv：紧凑的周期级指标。
• summary.json：延迟、吞吐、SLO、资源利用率、能耗、可靠性、新鲜度、缓冲、抖动、迁移、控制器开销等聚合指标。可靠性报告包含完成、失败和待处理工作，以及完成或失败的核算，防止低完成率伪装成良好延迟结果。

搜集汇总

数据集介绍

构建方式

ContinuumBench构建于ECLYPSE模拟器之上，通过引入基于epoch的控制回路，实现了对云边连续体中服务放置、副本缩放与资源预热的联合控制。该基准测试定义了六种可配置组件，包括应用图、基础设施图、工作负载进程、控制器、执行状态与配置分析。其核心机制在于，每个控制epoch内，控制器根据观察到的队列深度、任务年龄及TTL压力等信号，选择放置映射与工作线程数量的联合动作。ECLYPSE负责审计动作的可行性，确保状态转换合法。ContinuumBench还添加了弹性工作线程、间歇性传输、缓冲与故障模型，以全面模拟运行时动态。通过控制变量法，它隔离了重规划调度、弹性容量与放置质量等单一控制杠杆的影响，为评测提供了精细化的实验框架。

特点

ContinuumBench的核心特色在于其完成感知的度量体系，将迟到、未完成及被丢弃的任务均视为截止时间违规，从而避免了传统仅基于已完成任务的指标所导致的评估偏差。该基准测试提供了声明式的执行状态与压力源，使每次实验的可审计性得以增强。它内置了四种场景族，涵盖地球观测、车联网卸载、分割推理与工业物联网，分别针对间歇性连接、低延迟卸载、放置-缩放权衡及混合关键性SLO等核心挑战。ContinuumBench还纳入了九种控制器，包括生产级策略HPA与KEDA以及精确优化器，通过共同的行动表示与观察集进行比较。其模块化设计支持受控消融测试，能够独立于评估设置，精确衡量不同控制杠杆的实际贡献。

使用方法

ContinuumBench的使用方法遵循严格的协议，首先配置六类组件以定义运行场景。用户可基于R1合成基线或R2校准配置，调整工作负载强度、接触窗与链路特性。实验执行时，系统记录每个epoch的状态、动作及完整轨迹，并通过内置的分析管道计算完成率、SLO违规率及尾延迟等指标。评估流程选取各控制器家族的代表性最优者进行对比，通过种子控制实现可复现的实验。ContinuumBench还提供了敏感性实验模板，可独立施加负载、接触或节点故障等压力源，以探究控制器在不同条件下的表现。其公开的代码与场景支持研究者扩展新的控制器或拓扑，从而推动了云边管理领域可重复、可比较的基准测试文化。

背景与挑战

背景概述

ContinuumBench是由意大利国家研究委员会ISTI、比萨大学及路易斯大学的研究人员于2026年联合推出的一项基准测试，旨在系统性地评估云边连续体中联合自动缩放与服务放置控制器的性能。其核心研究问题在于，面对动态工作负载、间歇性连接及资源弹性等复杂场景，如何准确区分控制策略优劣与评估设置差异，从而揭示控制复杂度对按时交付的影响。该基准基于ECLYPSE模拟器构建，引入完成感知的计分机制与可控消融实验协议，为资源管理研究提供了标准化评估框架，对推动云边协同控制策略的实证研究具有重要影响力。

当前挑战

该领域面临的核心挑战在于，既有评估常将放置与扩展割裂，且隐含工作负载及校准假设，致使报告增益难以归因。构建过程中，需应对间歇性链路、缓冲与故障等动态因素，在模拟器中闭环集成弹性工作线程与可达性变化，同时确保结构可行性与传输可用性分离。此外，完成感知的计分需将迟到、未完成及丢弃任务视为超时，而完成率单一指标可能掩盖控制器间的真实差异，如KEDA在突发下延迟完成增多，导致不公平排序，这些均构成方法学上的严峻挑战。

常用场景

经典使用场景

ContinuumBench作为云边端连续体资源管理领域的基准测试框架，其经典使用场景在于对比评估不同控制器在负载均衡与放置决策上的性能表现。该基准通过控制应用图、基础设施拓扑、工作负载过程及执行机制等变量，为研究者提供了一种可复现的标准化测试环境。其典型应用包括对Kubernetes水平Pod自动缩放器（HPA）、事件驱动自动缩放器（KEDA）以及经典启发式放置算法的系统性评测，从而在受控条件下量化各类控制策略对按时交付率、SLO违例率及延迟等关键性能指标的影响。

实际应用

在实际场景中，ContinuumBench的应用潜力体现在指导云边端资源管理系统设计与部署的系统性测试与迭代优化。它可作为评估新控制器的参考框架，用于验证新型算法面向实际工作量的鲁棒性，进而推动边缘计算场景中的车联网（V2X）、工业物联网、地球观测（EO）等应用的SLO保障。ContinuumBench的公开源码和场景配置为用户提供了可随时随地复现实验的工具，并通过预设的工作负载以及间歇性连接等压力模式，协助开发人员为特定应用环境选择恰当的放置与缩放策略，以高效利用底层异构资源。

衍生相关工作

ContinuumBench的提出催生了对云边端连续体控制策略进行更严谨实验评估的研究脉络，其方法论上的创新点，如完成感知的评分方式和可复制机制，有望影响后续资源管理基准的开发。基于该基准，研究者可以扩展以支持学习型控制器，探索引入搬运成本后的表现，以及优化大规模网络的可扩展性，推动构建更能反映真实条件的测试基准与评估流程。ContinuumBench的评估方法本身亦可能被采纳，以促进跨区域资源管理基准的构建，提升实验的可比性与科学严谨性。