MetaExe-Bench

MetaExe-Bench是一个大规模元学习基准数据集，由博世人工智能中心等机构联合构建，包含144,177条scikit-learn管道评估记录。该数据集覆盖了2,616种端到端分类和回归管道配置在170个OpenML数据集上的稀疏执行结果，通过整合MLSea-KG和ExeKGs构建统一知识图谱MetaExe-KG。其核心创新在于将数据集元特征与管道配置的结构化表征融合，通过知识图谱嵌入捕捉数据集-管道交互模式。该数据集旨在解决管道性能估计(PPE)和基于性能的数据集相似性评估(DPSE)两大元学习任务，为减少昂贵训练开销提供数据支撑。

MetaExe-Bench is a large-scale meta-learning benchmark dataset jointly constructed by the Bosch Center for Artificial Intelligence and other collaborating institutions, containing 144,177 evaluation records of scikit-learn pipelines. It covers sparse execution results of 2,616 end-to-end classification and regression pipeline configurations across 170 OpenML datasets, and builds a unified knowledge graph named MetaExe-KG by integrating MLSea-KG and ExeKGs. Its core innovation lies in fusing the meta-features of datasets with the structured representations of pipeline configurations, and capturing dataset-pipeline interaction patterns via knowledge graph embedding. This dataset aims to address two core meta-learning tasks: Pipeline Performance Estimation (PPE) and Performance-based Dataset Similarity Evaluation (DPSE), providing data support for reducing expensive training overhead.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称：ML Dataset Discovery
• 数据集地址：https://github.com/dtai-kg/KGmetaSP
• 核心目标：探索机器学习数据集的相似性与检索，并预测机器学习流水线性能。

主要组成部分

1. 基于知识图谱嵌入的数据集相似性

• 位置：kge-based-dataset-similarity 文件夹
• 功能：
  • 数据准备
  • 训练基于 RDF2Vec 的知识图谱嵌入模型
  • 计算基于 KGE 的相似度
  • 计算图编辑距离
  • 使用嵌入预测机器学习流水线性能
  • 分析检索评估结果并生成图表

2. 数据集检索评估

• 位置：dataset-retrieval-evaluations 文件夹
• 功能：
  • 基于可用数据集上应用的机器学习流水线性能计算真实值
  • 为基线方法和基于 KGE 的相似性计算基于排序的指标
  • 实现基线方法

3. 流水线特定元模型分析

• 位置：pipeline-specific-meta-model-analysis 文件夹
• 功能：
  • 从 OpenML 检索所研究数据集的元特征
  • 训练用于性能预测的流水线特定元模型
  • 聚合和分析流水线特定元模型评估结果

关键实验结果（链接预测模型用于流水线性能预测）

实验设置

• 模型：TransE, DistMult, ComplEx
• 工具库：PyKEEN
• 配置：
  • 训练：自对抗负采样，1500 轮次
  • 嵌入维度：128
  • 批次大小：2048
  • 学习率：0.0005
  • 每个正例的负例数：3
  • 损失边界：50

场景一：未见数据集

元分类（目标：准确率）

• 最佳方法：KGmetaSP (RDF2Vec)
• 准确率：0.7413
• F1 分数：0.7427

元回归（目标：准确率）

• 最佳方法：配置特定方法
• 均方误差：0.0081
• R² 分数：0.6748

场景二：未见流水线

元分类（目标：准确率）

• 最佳方法：MF All + KGmetaSP (RDF2Vec)
• 准确率：0.8250
• F1 分数：0.8244

元回归（目标：准确率）

• 最佳方法：MF All + KGmetaSP (RDF2Vec)
• 均方误差：0.0070
• R² 分数：0.7361

核心结论

• KGmetaSP (RDF2Vec) 在流水线性能预测任务中实现了最强的基于知识图谱的性能。
• KGmetaSP (LP) 在 KGmetaSP 优于基线的设置中，相比基线方法有所改进。
• 基于游走的嵌入方法（如 RDF2Vec）对于稀疏且结构复杂的知识图谱（如 MetaExe-KG）具有优势。

搜集汇总

数据集介绍

构建方式

在元学习领域，数据集构建的完整性直接影响模型性能评估的可靠性。MetaExe-Bench的构建过程体现了对大规模实验数据的系统性整合，其核心是从OpenML平台提取170个数据集和2,616个scikit-learn管道配置的历史实验记录。通过构建统一的MetaExe-KG知识图谱，该基准将数据集元特征与管道结构语义信息深度融合，并采用稀疏执行策略生成了144,177个可验证的性能评估实例，确保了评估覆盖的广度和实验数据的真实性。

特点

该数据集在元学习基准中展现出显著的规模优势与结构创新性。其覆盖范围涵盖分类与回归任务，通过知识图谱嵌入技术将数据集元特征与管道配置的拓扑关系编码为连续向量表示。这种设计突破了传统元特征方法的局限性，能够捕捉数据集与管道之间的隐式交互模式。数据集提供的性能向量不仅包含常规评估指标，还保留了历史实验中的管道配置语义，为跨数据集的性能相似性分析提供了多维度的评估基础。

使用方法

在元学习研究实践中，该数据集主要支持管道性能估计与数据集性能相似性估计两大核心任务。研究者可利用数据集提供的嵌入向量训练管道无关的元模型，实现对未见数据集或管道配置的性能预测。对于相似性估计任务，可通过计算数据集嵌入间的余弦距离来量化性能模式的相似度。数据集的结构化知识图谱表示允许研究者灵活提取不同层次的语义特征，为元学习算法的验证与比较提供了标准化评估框架。

背景与挑战

背景概述

MetaExe-Bench 是机器学习元学习领域于2026年发布的一个大规模基准数据集，由博世人工智能中心、曼海姆大学、鲁汶大学等机构的联合研究团队构建。该数据集旨在解决元学习中的两个核心任务：流水线性能估计（PPE）和基于性能的数据集相似性估计（DPSE）。其核心研究问题在于如何超越传统元特征方法的局限，通过整合知识图谱嵌入技术，有效利用网络上海量的历史实验元数据（如OpenML平台上的记录），以捕获数据集与机器学习流水线配置之间复杂的交互模式。MetaExe-Bench的建立，通过整合170个数据集和2,616个流水线配置的144,177次评估，为评估元学习方法在跨数据集场景下的泛化能力提供了首个大规模、结构化的真实性能基准，显著推动了基于结构化知识的元学习研究。

当前挑战

MetaExe-Bench所针对的领域核心挑战在于，传统的元学习方法严重依赖数据集本身的元特征（如实例数量、统计特性）进行数值化表示，这忽视了历史实验中蕴含的丰富元数据，导致其难以精确建模数据集与不同流水线配置之间的性能交互模式，从而限制了PPE和DPSE任务的准确性。在数据集构建过程中，研究团队面临多重技术挑战：首先，需要从异构的OpenML实验记录中，提取并统一表示数千个scikit-learn流水线配置的复杂内部结构（包括预处理步骤、模型和超参数），并将其与数据集元特征整合到一个统一的知识图谱中；其次，为确保基准的可靠性与可执行性，必须对海量流水线配置进行过滤和验证，修复因scikit-learn版本迭代导致的组件与参数不一致问题，并执行稀疏的跨数据集评估以生成真实的性能地面真值，整个过程涉及大规模的数据清洗、知识表示和计算资源协调。

常用场景

经典使用场景

在元学习领域，MetaExe-Bench作为大规模评估基准，其经典使用场景聚焦于管道性能估计与数据集性能相似性估计的交叉验证。该基准整合了来自OpenML平台的144,177个实验记录，覆盖170个数据集和2,616个scikit-learn管道配置，为研究者提供了丰富的跨数据集性能评估环境。通过稀疏执行策略，它能够模拟真实世界中管道配置在不同数据集上的性能表现，从而支持对元学习模型泛化能力的系统性检验。

实际应用

在实际应用中，MetaExe-Bench为自动化机器学习系统的早期管道筛选与优化提供了可靠依据。工程团队可借助该基准训练的元模型，快速预估新数据集上候选管道的性能表现，从而大幅减少耗时的试错实验。在工业场景如博世焊接监测等案例中，此类技术能够加速机器学习工作流的部署周期，提升资源配置效率，并为跨领域的数据集迁移学习提供相似性度量支持。

衍生相关工作

基于MetaExe-Bench与MetaExe-KG的框架，衍生出一系列经典研究工作。KGmetaSP方法首次将知识图嵌入技术系统性地应用于元学习任务，启发了后续对异构元数据融合的探索。相关研究进一步扩展了ExeKG与MLSea-KG的集成范式，推动了如动态嵌入更新、跨框架管道适配等方向的发展。该基准亦成为评估新型元特征提取方法、图神经网络在元学习中应用的标准化测试平台。