Collaborative AIaaS Composition Dataset

Collaborative AIaaS Composition Dataset是由澳大利亚科廷大学构建的专为协作式人工智能即服务（AIaaS）组合研究设计的大规模数据集。该数据集整合了来自5个提供商的25,900个AIaaS服务，覆盖分类、回归、检测、聚类和自然语言处理等12个AI任务族，并包含10,000个具有多样化目标、QoS约束和偏好的协作服务请求。数据集创建过程包括：从主流平台收集预训练和微调模型，利用基准数据集评估服务的功能与QoS属性（如准确率、延迟、可靠性），并通过扰动-拒绝算法生成真实的服务需求，最后采用多臂老虎机（MAB）算法确定服务组合的可组合性并生成组合解决方案。该数据集旨在解决现有数据集缺乏AI特定属性和协作组合支持的问题，可用于服务推荐、选择、QoS预测以及协作AIaaS组合方法的评估与基准测试。Collaborative AIaaS Composition Dataset is a large-scale dataset constructed by Curtin University of Australia, specifically designed for research on collaborative Artificial Intelligence as a Service (AIaaS) composition. This dataset integrates 25,900 AIaaS services from 5 providers, covering 12 AI task families including classification, regression, detection, clustering, natural language processing and other common AI tasks. It also contains 10,000 collaborative service requests with diverse objectives, QoS constraints and preferences. The dataset construction process includes: collecting pre-trained and fine-tuned models from mainstream platforms, evaluating the functional and QoS attributes of the services (such as accuracy, latency, reliability) using benchmark datasets, generating realistic service requirements via the perturbation-rejection algorithm, and finally determining the composability of service compositions and generating composite solutions using the Multi-Armed Bandit (MAB) algorithm. This dataset aims to address the gap that existing datasets lack AI-specific attributes and support for collaborative composition, and can be applied to service recommendation, service selection, QoS prediction, as well as the evaluation and benchmark testing of collaborative AIaaS composition methods.

原始信息汇总

Collaborative AIaaS Composition Benchmark 数据集概述

数据集来源

• 数据集详情页面地址：https://github.com/deepakkanneganti9/CAIaaS
• 关联论文：A Collaborative Artificial Intelligence as a Service Composition Dataset

数据集内容结构

数据文件

• datasets/AIaaS_Service_Dataset.csv：包含基准测试所使用的 AIaaS 服务记录。
• datasets/update_signatures/：包含用于计算 AIaaS 服务之间接口/模型兼容性的更新签名向量。
• service_request/AIaaS_Collaborative_Service_Request_Dataset.json：包含基准测试中使用的协作服务请求。

基准测试代码

• benchmark/canonical_full_benchmark.py：包含完整的基准测试实现，涵盖目标计算和实验中使用的优化技术。
• benchmark/plot_final_average_quality.py：从归档的基准测试结果文件中重新生成平均服务质量图。

输出文件

• outputs/AIaaS_Composition_Benchmark_Results.csv
• outputs/AIaaS_Composition_Quality_by_Length.csv
• outputs/AIaaS_Composition_Quality_Comparison.pdf
• outputs/AIaaS_Composition_Quality_Comparison.png

基准测试优化技术

基准测试包含以下优化技术：

• Random Search
• Greedy
• Epsilon-Greedy
• Genetic Algorithm (GA)
• DAAGA
• MWOA
• CSSA
• SDFGA
• BPSC-GA
• PK-IDPSO

其中，MAB 方法被用作所提出的解生成策略，在最终平均质量比较图中不作为基线绘制。

可组合性目标

基准测试使用每个服务请求中的偏好权重计算加权协作可组合性分数，所实现的项包括：

• quality score：归一化任务性能，对应准确性或任务质量组件。
• response time：使用请求延迟阈值和所选服务延迟之和的有界延迟分数。
• tail latency：使用请求尾部延迟阈值和所选服务尾部延迟之和的有界尾部延迟分数。
• resource cost score：请求权重中使用的资源/成本组件。
• interface compatibility：使用余弦相似度从更新签名向量计算的成对兼容性。
• update signature availability：所选服务的更新签名信息的可用性。

最终分数是服务请求 preference_weights 中列出的活跃项的加权和。服务数据集还包含平均计算时间和可靠性分数等附加属性，这些属性保留在数据集中，但除非包含在服务请求权重中，否则不作为此基准测试的活跃项。

复现与重运行

重新生成最终图

在包含 AIaaS_Collaborative_Composition_Benchmark/ 的目录下运行： bash python3 -m AIaaS_Collaborative_Composition_Benchmark.benchmark.plot_final_average_quality

重新生成：

• outputs/AIaaS_Composition_Quality_by_Length.csv
• outputs/AIaaS_Composition_Quality_Comparison.pdf
• outputs/AIaaS_Composition_Quality_Comparison.png

重运行完整优化

在包含 AIaaS_Collaborative_Composition_Benchmark/ 的目录下运行： bash python3 -m AIaaS_Collaborative_Composition_Benchmark.benchmark.canonical_full_benchmark

重新计算基于签名的完整协作基准测试并写入：

• outputs/canonical_recomputed_full_benchmark.csv
• outputs/canonical_recomputed_full_benchmark_summary.json

完整优化运行较慢，因为它评估所有协作服务请求在所有基准技术上的表现，并重新计算基于签名的接口兼容性。执行过程中会打印进度消息，例如：processed 100/2000 collaborative requests

注意事项

• datasets/update_signatures/ 目录是自包含完整优化重运行所必需的。移除此目录可减小目录大小，但完整基准测试将无法计算基于签名的接口兼容性。

搜集汇总

数据集介绍

构建方式

面向协作式AIaaS组合研究对具备AI专有属性的基准数据集的迫切需求，该数据集的构建遵循服务采集、需求生成与组合求解相衔接的系统化流程。构建者从Hugging Face、Keras、scikit-learn等多家提供方采集约1,500个主流预训练模型，覆盖分类、回归、检测、聚类、分割、自然语言处理等12类AI任务族，并通过差异化微调与配置生成超过25,900个服务实例，逐一标注训练数据规格、内部模型参数以及准确率、时延、可靠性、成本效率等服务质量属性，且对多数参数实施最小—最大归一化。在此基础上，依据既有AI服务选择原则生成10,000条协作式服务需求，并借助基于多臂老虎机的可组合性算法推导相应的组合解，最终形成需求与解相互映射的完整数据集。

特点

该数据集在规模与属性维度上均显著区别于既有服务计算基准。其涵盖来自5家提供方的25,900个AIaaS服务，横跨12类AI任务族，是迄今规模最大的AIaaS组合数据集之一；服务既包含推理就绪模型，也包含经微调的模型，并同时刻画功能属性、内部模型参数与多维服务质量属性，弥补了QWS、WS-DREAM等传统Web服务数据集缺乏AI专有属性的不足，也超越了HSC数据集仅面向顺序组合的局限。数据集还提供10,000条具有多样化目标函数、服务质量约束、偏好权重与协作规模的服务需求及其对应的高质量组合解，并通过归一化处理保证跨服务属性的可比性，从而支持协作式组合场景下的系统性评测。

使用方法

该数据集可用于评估和比较协作式AIaaS组合方法，研究者可将10,000条服务需求与标注的组合解作为基准，利用平均服务组合质量分数等指标衡量不同优化策略的求解效果。数据集亦支持多臂老虎机、遗传算法以及DAAGA、MWOA、CSSA等元启发式方法的对比实验，并可作为服务推荐、服务选择、服务分类与服务质量预测等任务的训练与评测资源。使用者可通过公开的GitHub仓库获取服务描述、需求实例、组合解及算法实现，并根据实验需要自定义评测设置、扩展服务属性或生成新的AIaaS服务。

背景与挑战

背景概述

人工智能即服务（AIaaS）的兴起催生了将多个AI服务整合为统一解决方案的协作式组合范式，然而该领域长期面临基准数据匮乏的困境。传统服务计算数据集如QWS、WS-DREAM及HSC仅面向通用Web服务或顺序化AI工作流，缺乏AI服务特有的训练数据规范、模型内部参数与服务质量属性，难以支撑协作组合研究。为弥合这一鸿沟，Curtin大学Deepak Kanneganti等学者于2026年构建了协作式AIaaS组合数据集，涵盖来自五个主流提供商的25,900项服务及10,000条协作服务请求，并配套提出基于多臂老虎机的可组合性算法。该数据集填补了协作式AIaaS组合基准的空白，为服务推荐、选择与服务质量预测等研究提供了可复现的评估基础。

当前挑战

该数据集所应对的领域问题在于，协作式AIaaS组合需同时兼顾功能兼容性与服务质量约束，其组合搜索空间随服务数量与组合长度呈组合爆炸式增长，穷举评估在计算上不可行，而现有优化方法在长组合场景下性能波动显著。构建过程中的核心挑战则源于AI服务的固有特性：提供商通常仅披露有限的模型级信息，训练数据分布、内部参数与服务质量指标往往不完整或不透明，需借助微调与重复运行时测量加以推导；同时，服务请求需在缺乏真实大规模用户数据的情况下，通过扰动-拒绝机制生成并保证偏好序一致，增加了数据保真与偏差控制的难度。

常用场景

经典使用场景

在协同式AIaaS组合的研究图景中，该数据集最经典的应用场景在于为组合算法的设计与评估提供统一的基准测试平台。研究者借助其中涵盖12类AI任务、来自五家主流供应商的25,900项AIaaS服务，以及10,000条附带功能约束、服务质量指标与偏好权重的协同服务请求，能够系统性地检验服务选择与组合策略在不同组合规模与目标函数下的表现。数据集内嵌的基于多臂老虎机的组合性评估算法，可生成可比较的基准组合方案，使得遗传算法、贪婪搜索及多种元启发式方法得以在同一实验条件下进行公平对比。

实际应用

在真实部署环境中，该数据集为构建面向医疗健康、工业物联网与数字平台等领域的AIaaS组合应用提供了可复现的仿真基础。例如，在需要融合多个人工活动识别服务的医疗场景中，开发者可利用数据集中的协同组合请求与解决方案，评估不同服务组合在精度、延迟与成本约束下的可行性。数据集还支持服务推荐系统的离线验证，帮助平台在异构服务池中快速定位满足用户偏好与服务质量约束的候选服务。其公开的生成流程与代码仓库进一步允许从业者根据自身计算资源与实验需求扩展服务属性或生成新的AIaaS服务实例。

衍生相关工作

该数据集自发布以来，已在AIaaS组合、服务推荐与服务质量预测等方向催生了一系列后续研究。基于其提供的协同组合基准，研究者相继探索了融合历史组合信息的优化算法，如DAAGA、MWOA、CSSA、SDFGA、BPSC-GA及PK-IDPSO等在协同场景下的适配与改进。同时，该数据集与作者前期提出的MLaaS自适应组合框架及MLaaS数据集生成器形成互补，共同构建了从服务生成、组合求解到性能漂移检测的完整研究链条。这些工作不仅验证了数据集在协同组合任务中的区分能力，也拓展了其在联邦学习客户端选择与物联网服务管理中的应用边界。