JOB-Complex

JOB-Complex是一个新型的查询优化基准，旨在评估传统和学习的查询优化器的性能。它包含30个手制的SQL查询，反映了现实世界的查询条件，如基于非主/外键列的连接、基于字符串列的连接以及复杂的过滤谓词。此外，JOB-Complex为每个查询提供了多个执行计划，包括物理计划及其估计和实际成本和基数，这使得可以重现和比较地评估成本模型和查询优化器。JOB-Complex通过反映现实世界的复杂性，为查询优化和成本模型评估提供了宝贵的资源。JOB-Complex is a novel query optimization benchmark designed to evaluate the performance of both traditional and learned query optimizers. It includes 30 handcrafted SQL queries that reflect real-world query conditions, such as joins based on non-primary/foreign key columns, joins based on string columns, and complex filter predicates. Additionally, JOB-Complex provides multiple execution plans for each query, including physical plans along with their estimated and actual costs and cardinalities, enabling reproducible and comparative evaluation of cost models and query optimizers. By reflecting real-world complexities, JOB-Complex serves as a valuable resource for query optimization and cost model evaluation.

原始信息汇总

JOB-Complex数据集概述

数据集简介

• 名称：JOB-Complex
• 用途：用于评估传统和学习的查询优化器及成本模型性能的基准测试
• 特点：包含反映现实世界复杂性的SQL查询，挑战现有查询优化器

数据集内容

• SQL查询数量：30个
• 执行计划数量：5131个（包含估计/实际成本和基数）
• 数据来源：基于JOB基准测试扩展

关键特性

1. 现实世界复杂性体现：

   • 非主键/外键列上的连接
   • 字符串列上的连接
   • 复杂过滤谓词（如LIKE、含多值的IN子句）

2. 性能对比：

   • 优化潜力：PostgreSQL达11.13倍，学习模型达9.68倍
   • 最优计划运行时：53.34秒
   • PostgreSQL选择计划运行时：593.50秒

与其他基准测试对比

基准测试	查询数量	连接数	字符串过滤	非PK/FK连接	字符串连接	最优计划运行时(s)	PG选择计划运行时(s)	优化潜力
JOB-light	70	1-3	--	--	--	2359.72	2795.53	1.18
JOB	113	3-14	✓	--	--	156.79	312.23	1.99
JOB-Complex	30	5-14	✓	✓	✓	53.34	593.50	11.13

数据获取

• 计划选择数据集：包含JOB-Complex、JOB和JOB-light的执行计划
• 下载地址：https://osf.io/53de6/?view_only=f304ebe762f34f65a3ce591340b89818
• 数据格式：PostgreSQL EXPLAIN (ANALYZE, VERBOSE, FORMAT JSON)命令格式

应用价值

• 为查询优化研究提供更接近现实场景的测试基准
• 揭示现有优化器在复杂场景下的性能局限
• 促进查询优化技术的进一步发展

搜集汇总

数据集介绍

构建方式

JOB-Complex数据集的构建基于对现有JOB基准的深度改造，通过系统性地引入真实场景中的查询复杂性来提升评估难度。研究团队从原始JOB基准中精选30个代表性查询，保留其基础结构的同时，创新性地融入了非主外键列连接、字符串列连接、复杂过滤谓词等现实特征。为确保评估的严谨性，团队采用导向式计划生成与多样化随机枚举相结合的策略，为每个查询平均生成200个执行计划，形成包含近6000个预执行计划的配套基准。这种双层架构设计既保持了查询结构的可比性，又通过真实世界特征的引入显著提升了优化器的测试难度。

特点

该数据集的核心价值在于其高度仿真的复杂性设计，包含五大典型现实特征：非主外键列连接打破了传统优化器对约束条件的依赖；字符串列连接增加了选择性估计的难度；同表列间比较暴露了统计独立性假设的缺陷；复合过滤谓词（如LIKE和IN从句）挑战了选择率估算的准确性；原始JOB数据集的读取集和相关性保留则确保了基础数据的真实分布。这些特性共同导致PostgreSQL优化器出现高达11.13倍的优化差距，远超传统基准的1-2倍表现，有效揭示了现有优化技术在真实场景中的局限性。

使用方法

作为评估查询优化器和成本模型的专业工具，JOB-Complex支持多维度性能测试。研究者可通过配套的预执行计划库直接比较不同优化器的计划选择质量，利用包含实际执行成本的计划数据验证成本估计准确性。对于机器学习方法，该数据集既能作为训练资源（特别是计划选择子集），也可作为零样本测试场景。使用时应重点关注优化差距、Q-error等核心指标，通过对比PostgreSQL与学习型模型在相同查询上的表现差异，系统评估各类方法处理复杂查询模式的能力。数据集的开源特性允许研究者扩展新的查询变体或执行计划，推动查询优化技术的持续演进。

背景与挑战

背景概述

JOB-Complex是由德国达姆施塔特工业大学（Technical University of Darmstadt）的Johannes Wehrstein、Timo Eckmann、Roman Heinrich和Carsten Binnig等研究人员于2025年提出的一个新型数据库查询优化基准测试数据集。该数据集旨在解决现有基准测试（如JOB和JOB-Light）在反映真实世界查询优化复杂性方面的不足。JOB-Complex包含30个手工设计的SQL查询，涵盖了字符串列连接、非主键/外键列连接以及复杂过滤谓词等真实场景中常见的查询特性。此外，该数据集还提供了近6000个执行计划，为评估传统和基于学习的查询优化器的性能提供了丰富资源。JOB-Complex的推出显著提升了查询优化领域的评测标准，揭示了现有优化器在复杂查询场景下的性能瓶颈。

当前挑战

JOB-Complex面临的挑战主要体现在两个方面：领域问题挑战和构建过程挑战。在领域问题方面，该数据集旨在解决传统和基于学习的查询优化器在处理复杂查询时的性能不足问题，例如优化器在字符串列连接或非主键列连接等场景中表现不佳，导致执行计划与最优计划相比存在高达11倍的性能差距。在构建过程中，研究人员需要克服多表连接搜索空间指数级增长的难题，同时确保生成的执行计划具有多样性和代表性。此外，如何在不引入偏差的情况下平衡执行计划的运行时分布，以及如何有效评估不同优化器的性能差异，也是构建过程中的重要挑战。这些挑战使得JOB-Complex成为评估查询优化器鲁棒性的严格测试平台。

常用场景

经典使用场景

在数据库查询优化领域，JOB-Complex数据集被广泛用于评估传统查询优化器和学习型查询优化器的性能。该数据集通过引入字符串列连接、非主键/外键列连接以及复杂过滤谓词等真实场景中的复杂特性，为研究者提供了一个极具挑战性的测试平台。其包含的30个SQL查询和近6000个执行计划，使得该数据集成为衡量查询优化算法在复杂场景下表现的重要基准。

衍生相关工作

JOB-Complex数据集推动了多个相关研究方向的发展。基于该数据集，研究者提出了改进的学习型成本模型如T3和FlatVector，这些模型在复杂查询场景下展现出优于传统方法的潜力。同时，该数据集也促进了查询计划表示学习、基数估计方法等领域的研究，催生了QueryFormer等创新性工作。此外，数据集揭示的问题还激发了混合优化器架构的探索，结合传统规则与机器学习优势的新方法正在成为研究热点。

数据集最近研究

最新研究方向

近年来，JOB-Complex数据集在数据库查询优化领域引起了广泛关注，特别是在评估传统和基于学习的查询优化器性能方面。该数据集通过引入字符串列连接、非主键/外键列连接以及复杂过滤谓词等真实场景特性，显著提升了查询优化的难度。前沿研究主要集中在如何利用该数据集改进学习型成本模型的鲁棒性，特别是在处理复杂查询模式时的性能优化。热点事件包括多个研究团队利用JOB-Complex验证新型优化算法的有效性，例如基于图神经网络和Transformer架构的模型。这些研究不仅揭示了现有优化器在真实场景中的局限性，还为未来开发更强大的查询优化技术提供了重要基准。该数据集的影响深远，推动了数据库社区对查询优化核心挑战的重新思考，并为AI在数据库系统中的应用开辟了新方向。

相关研究论文

• JOB-Complex: A Challenging Benchmark for Traditional & Learned Query Optimization

  达姆施塔特工业大学 · 2025年