BLADE

BLADE是一个模块化和可扩展的基准测试框架，旨在评估由大型语言模型（LLM）驱动的自动算法发现（AAD）方法。该框架集成了多个基准问题（包括MA-BBOB和SBOX-COST等）的集合，旨在进行能力导向的测试，例如泛化、专业化和信息利用。BLADE提供了灵活的实验设置选项，标准化日志记录以确保可重复性和公平比较，并包含用于分析AAD过程的方法（例如代码演化图和多种可视化方法），并通过与IOHanalyser和IOHexplainer等现有工具的集成，便于与人工设计的基线进行比较。BLADE is a modular and extensible benchmarking framework designed to evaluate automated algorithm discovery (AAD) methods powered by large language models (LLMs). It integrates a suite of benchmark problems including MA-BBOB, SBOX-COST, among others, to support capability-oriented testing such as generalization, specialization, and information utilization. BLADE provides flexible experimental setup options, standardized logging to ensure reproducibility and fair comparison, and includes methods for analyzing the AAD process—for example, code evolution graphs and various visualization techniques. Additionally, it facilitates comparison with manually designed baselines through integration with existing tools such as IOHanalyser and IOHexplainer.

搜集汇总

数据集介绍

构建方式

BLADE数据集的构建基于模块化和可扩展的设计理念，旨在为大语言模型驱动的自动化算法发现提供标准化评估环境。该框架整合了多种基准问题集合，包括MA-BBOB和SBOX-COST等，通过实例生成器和文本描述实现能力导向的测试。其构建过程采用灵活的并行处理机制，确保实验设置的可重复性，并通过标准化日志记录所有关键信息，包括LLM查询记录和生成算法的评估结果。BLADE独特的模块化架构允许根据实验目标自由替换问题集和性能指标，同时原生集成IOHanalyser等专业分析工具，为算法性能比较提供全面支持。

特点

BLADE数据集的核心特点体现在其针对LLM驱动算法发现的专项评估能力。该数据集包含经过精心设计的连续黑盒优化问题集合，特别关注算法在泛化能力、问题类别专精和信息利用等方面的表现。通过MA-BBOB和SBOX-COST等基准套件，BLADE能够有效评估算法在不同维度、模态和结构特征问题上的适应性。数据集提供丰富的元数据支持，包括问题实例的文本描述和代码演化图谱，便于深入分析算法设计过程。其突出的扩展性允许研究人员轻松集成新的基准问题或LLM模型，而标准化的评估流程确保了不同方法间的公平比较。

使用方法

使用BLADE数据集进行研究的典型流程包含三个关键阶段。在实验设计阶段，研究人员可选择预设的基准问题组合或自定义问题集，配置LLM模型和搜索方法参数，并设定算法评估预算。执行阶段通过并行计算加速评估过程，系统自动记录所有LLM交互细节和算法性能数据。在分析阶段，研究者可利用集成的可视化工具分析算法收敛曲线和代码演化特征，并通过IOHanalyser进行基准对比。对于专项能力评估，BLADE支持将训练与测试实例分离，以验证算法的泛化性能。数据集还提供标准接口用于连接不同LLM，并支持生成算法的后处理与执行，实现端到端的算法发现流程评估。

背景与挑战

背景概述

BLADE（Benchmark suite for LLM-driven Automated Design and Evolution）是由莱顿大学的研究团队于2025年提出的一个模块化、可扩展的基准测试框架，旨在评估大型语言模型（LLMs）在连续黑盒优化场景中自动算法发现（AAD）的能力。该数据集由Niki van Stein、Anna V. Kononova、Haoran Yin和Thomas Bäck等学者共同开发，聚焦于解决LLM驱动的算法设计过程中的透明性和可复现性问题。BLADE整合了多种基准测试问题（如MA-BBOB和SBOX-COST）和实例生成器，支持对算法泛化性、专业化和信息利用能力的系统性评估。其核心研究问题在于如何通过标准化测试环境，量化LLM生成的优化启发式算法的性能，填补了当前AAD领域缺乏统一评估工具的空白。

当前挑战

BLADE数据集面临的挑战主要体现在两方面：领域问题挑战和构建过程挑战。在领域问题方面，BLADE需解决连续黑盒优化中算法性能评估的复杂性，例如如何量化LLM生成算法的泛化能力（如跨问题实例和维度的适应性）以及专业化能力（如针对多模态问题的优化效果）。同时，现有基准测试套件（如BBOB）存在优化问题表述模糊、实例多样性不足等问题，导致训练模型难以迁移到其他测试环境。在构建过程中，挑战包括设计灵活的模块化框架以支持不同LLM和AAD方法的集成，确保实验设置的可复现性，以及开发有效的分析工具（如代码演化图和ELO评分）以追踪算法生成过程。此外，如何平衡基准测试的多样性与实验效率，避免因问题实例过多导致计算资源不可行，也是BLADE需要克服的关键挑战。

常用场景

经典使用场景

BLADE数据集在连续黑盒优化领域中，主要用于评估和比较基于大型语言模型（LLM）驱动的自动算法发现（AAD）方法。其经典使用场景包括通过模块化框架集成多种基准问题（如MA-BBOB和SBOX-COST），结合实例生成器和文本描述，测试算法在泛化、专业化和信息利用等方面的能力。BLADE的灵活实验设置和标准化日志功能使其成为系统评估LLM驱动AAD方法的理想工具。

解决学术问题

BLADE数据集解决了自动算法发现领域中的多个关键学术问题，包括如何评估LLM生成算法的性能、如何量化算法在不同问题实例上的泛化能力，以及如何通过标准化框架实现公平比较。其模块化设计填补了现有基准测试工具在连续黑盒优化中的空白，尤其针对LLM驱动AAD方法的透明性和可重复性需求提供了解决方案。通过集成IOHanalyser等工具，BLADE进一步推动了算法性能分析的标准化进程。

衍生相关工作

BLADE数据集衍生了一系列经典研究工作，包括LLaMEA框架的扩展（如突变提示策略优化和超参数自动化调优）、Code Evolution Graphs（CEG）等算法设计过程可视化方法，以及基于ELO评分的算法性能评级系统。这些工作不仅深化了对LLM驱动AAD机制的理解，还推动了如FunSearch、modCMA等算法设计工具的迭代发展，形成了从理论到应用的完整研究链条。