birdsql/effi-sql-training

Diff-SQL训练数据集是用于SQL效率优化的训练数据集合，包含Patch Generator训练数据集（用于生成SQL优化补丁的SFT数据）和Constraint Aligner训练数据集（用于约束感知SQL优化细化的SFT预热数据）。数据集文件以parquet格式存储，包括train和dev分割。每个训练实例包含唯一标识符、提示（包含慢SQL查询、相关数据库信息和执行计划）、响应（包括优化或细化推理及目标补丁）、数据库名称、原始慢SQL查询和优化后的SQL查询作为参考目标。

Diff-SQL Training Dataset is a training dataset used for SQL efficiency optimization, including the Patch Generator Training Dataset (SFT data for generating SQL optimization patches) and the Constraint Aligner Training Dataset (SFT warmup data for constraint-aware SQL optimization refinement). The dataset files are stored in parquet format with train and dev splits. Each training instance includes a unique identifier, prompt (containing the slow SQL query, relevant database information, and query execution plan), response (including optimization or refinement reasoning and target patch), database name, original slow SQL query, and optimized SQL query as the reference target.

搜集汇总

数据集介绍

构建方式

该数据集由Diff-SQL项目精心构建，专为SQL效率优化任务设计。其构建过程主要涵盖两大模块：补丁生成器训练数据集与约束对齐器训练数据集。前者通过监督式微调（SFT）数据，引导模型学习如何生成SQL优化补丁；后者则作为SFT预热数据，辅助模型在考虑约束条件的前提下，精细化调整SQL优化过程。数据集以Parquet格式存储，分为训练集和验证集，确保数据的高效加载与处理。每个样本包含实例标识、输入提示（含慢查询SQL、数据库信息及执行计划）、目标响应（优化推理与补丁）、数据库名称、原始SQL及优化后的SQL，形成完整的训练闭环。

特点

此数据集的核心特点在于其专注性与专业性，它深入聚焦PostgreSQL环境下的SQL优化，提供成对的慢查询与优化查询样本，为模型提供了明确的优化目标和推理路径。数据集结构严谨，每个字段如instance_id、prompt、response等均服务于特定的优化学习需求，尤其是prompt字段整合了执行计划，使模型能基于上下文进行逻辑推理。此外，数据集的规模与划分方式（训练/验证）兼顾了模型训练的充分性与泛化能力评估，而Apache-2.0许可则增强了其开放性与可复用性，为SQL优化领域的研究奠定了坚实的数据基础。

使用方法

用户可通过加载Parquet文件直接使用该数据集，适用于基于Transformer的文本生成模型微调。典型应用流程包括：将prompt字段作为模型输入，response字段作为监督信号，训练模型学习从慢查询到优化查询的映射。数据集中的base_sql与optimized_sql可辅助进行差分学习，而db字段有助于数据库上下文理解。建议用户结合Diff-SQL官方代码库（GitHub链接）进行模型训练与评估，或利用HuggingFace的datasets库便捷读取数据。适用于研发SQL自动优化工具、提升数据库查询性能等场景，同时可作为基准测试数据验证新方法的有效性。

背景与挑战

背景概述

在数据库查询优化领域，SQL效率低下是导致系统性能瓶颈的关键因素之一，而传统优化方法往往依赖人工经验或规则引擎，难以应对复杂查询场景。为此，Diff-SQL研究团队于2024年发布了effi-sql-training数据集，该数据集由研究人员基于PostgreSQL环境构建，旨在通过监督式微调（SFT）训练模型自动生成SQL优化补丁。数据集包含两大核心部分：Patch Generator训练数据，用于学习从慢查询到优化补丁的映射；Constraint Aligner训练数据，则聚焦于约束感知的优化精炼。该数据集关联的Effi-SQL基准测试与Diff-SQL代码库已引发学界对神经符号方法在数据库优化中应用的广泛关注，为自动化查询重写提供了标准化训练资源。

当前挑战

该数据集主要面临三重挑战。首先，在领域问题层面，SQL优化需要模型同时理解查询语义、数据库模式及执行计划，而传统文本生成模型易忽略执行计划中的物理算子代价，导致生成的优化补丁虽语法正确但实际执行效率不佳。其次，构建过程中需解决训练数据稀疏性问题，真实场景中的慢查询分布极度不均衡，常用优化模式的查询占多数，而涉及复杂连接或子查询嵌套的罕见模式难以覆盖。此外，约束对齐任务要求模型在优化时保留原始查询的业务语义，如排除违反外键约束或视图定义的改写，这对训练数据的负例构建提出了更高要求。

常用场景

经典使用场景

在数据库查询优化领域，Effi-SQL Training数据集被广泛用于训练和评估基于深度学习的SQL优化模型。该数据集提供了丰富的训练实例，每个实例包含慢SQL查询、相关数据库信息及其执行计划，以及对应的优化后SQL。研究人员利用这些数据，能够训练出自动生成SQL优化补丁的模型，从而实现从低效查询到高效查询的智能转换。这种经典用法不仅提升了查询优化的自动化水平，还为后续研究提供了标准化训练基准。

解决学术问题

该数据集致力于解决传统SQL查询优化依赖人工经验和规则库、难以适应复杂多变实际场景的学术难题。通过引入大规模、高质量的配对数据（原始SQL与优化SQL），它使得研究者能够探索基于监督学习和序列生成的新方法，自动识别查询中的性能瓶颈并生成针对性优化方案。其意义在于为数据库智能化优化提供了可复现的实验基石，推动了从经验驱动到数据驱动的范式转变，显著提升了查询优化的鲁棒性和通用性。

衍生相关工作

该数据集的核心工作是Diff-SQL模型，它利用补丁生成器和约束对齐器两阶段框架实现SQL优化，成为后续研究的重要基线。在此基础上，衍生出许多扩展工作，例如引入强化学习来探索更优的优化策略，或结合执行计划图神经网络提升对复杂查询结构的理解。另有研究将其与Text-to-SQL任务结合，在生成初始查询的同时考虑执行效率。这些衍生工作共同构建了从生成到优化的完整研究链条，持续推动查询效率的智能化提升。