birdsql/Effi-SQL

Effi-SQL是一个用于SQL效率优化的数据集套件，包含两部分：Effi-SQL Benchmark（一个用于评估SQL效率优化方法的基准数据集）和Diff-SQL Training Dataset（用于Diff-SQL模型的训练数据，包括补丁生成器和约束对齐器的数据）。基准数据集包括唯一标识符、数据库名、原始慢SQL查询、人工验证的优化SQL查询、执行时间、查询执行计划输出和难度标签；训练数据集包括实例ID、模型输入提示（含慢SQL查询、相关数据库信息和查询执行计划）、目标响应（含优化推理和目标补丁）、数据库名、原始慢SQL查询和优化SQL查询。数据集旨在支持SQL查询的性能优化研究和模型训练。

Effi-SQL is a dataset suite for SQL efficiency optimization, comprising two components: the Effi-SQL Benchmark, a benchmark dataset for evaluating SQL efficiency optimization methods, and the Diff-SQL Training Dataset, the training data for Diff-SQL models covering data for patch generators and constraint aligners. The benchmark dataset includes unique identifiers, database names, original slow SQL queries, manually verified optimized SQL queries, execution time, query execution plan outputs and difficulty labels. The training dataset consists of instance IDs, model input prompts (containing slow SQL queries, relevant database information and query execution plans), target responses (including optimization reasoning and target patches), database names, original slow SQL queries and optimized SQL queries. This dataset aims to support research on SQL query performance optimization and model training.

搜集汇总

数据集介绍

构建方式

Effi-SQL数据集套件旨在为SQL效率优化领域提供标准化评估与训练资源。其构建依托于真实数据库环境，通过收集原始低效SQL查询及其经人工验证的优化版本，形成成对样本。针对每个实例，详细记录了执行时间与查询执行计划，并依据优化难度赋予标签。Diff-SQL训练数据则在此基础上，构造了包含慢查询、数据库上下文及执行计划的提示信息，并配以优化推理过程与最终补丁作为目标响应，从而支撑模型的端到端训练。

使用方法

研究者可依据任务需求灵活运用该数据集。对于基准测试，可直接利用提供的base_sql与optimized_sql字段评估模型或算法的优化能力，并结合base_time与fast_time等性能指标进行量化分析。对于模型训练，Diff-SQL子集的结构化提示与响应格式适用于监督学习场景，可引导模型学习从慢查询计划到优化补丁的映射关系，进而构建高效的SQL自动优化系统。相关代码资源已开源，便于复现与扩展。

背景与挑战

背景概述

在大数据时代，数据库查询效率直接关系到企业应用的响应速度与成本控制，SQL优化作为提升数据库性能的核心技术，长期受到学术界与工业界的广泛关注。然而，现有数据集多聚焦于SQL语义正确性，缺乏对执行效率的系统性建模与评估。Effi-SQL数据集由匿名研究团队于2026年提出，旨在填补这一空白，其核心研究问题为如何通过数据驱动的方法自动判别与生成高执行效率的SQL查询。该数据集包含Effi-SQL Benchmark与Diff-SQL Training Dataset两部分，前者提供了带有人工验证执行时间与执行计划的多难度基准实例，后者则为基于生成式模型的SQL优化方法提供了高质量训练样本。Effi-SQL的发布为查询优化、数据库性能调优以及文本生成领域的交叉研究提供了标准化评测平台，有望推动自动化SQL效率优化技术的快速发展。

当前挑战

Effi-SQL所解决的领域核心挑战在于，传统SQL优化依赖于手工规则与经验调优，难以应对复杂查询模式与动态数据分布，导致优化效果不稳定且泛化能力不足。研究者面临的首要问题是设计能够准确捕捉SQL执行计划特征与执行时间关系的模型，以在无需真实代价估算的条件下完成高效查询重写。在数据集构建过程中，研究团队需克服多重障碍：首先，从海量真实SQL日志中筛选出具有优化价值的慢查询实例，并确保优化前后的查询语义完全一致；其次，人工验证优化SQL的正确性与效率提升，流程耗时且需要深度数据库领域知识；最后，不同数据库版本、硬件环境与数据分布对执行时间的影响巨大，如何标准化基准测试条件以保障结果的可复现性，是数据集可信度的关键挑战。

常用场景

经典使用场景

在自然语言处理与数据库交叉的学术领域中，Effi-SQL数据集为研究者提供了一个专精于SQL查询效率优化的标准化基准。其核心用途在于评估与提升模型对低效SQL语句的识别与改写能力，具体包括对原始慢查询的执行计划分析、耗时对比，以及逻辑等价的高效查询生成。该数据集通过精心标注的基线与优化SQL对，成为衡量自动化SQL重构算法性能的标杆。

解决学术问题

Effi-SQL旨在攻克数据库查询优化中的自动化难题，尤其是长期困扰学界的‘SQL效率差异’问题。传统优化依赖人工专家经验，缺乏系统性评估体系，而该数据集通过提供执行时间与查询计划等细粒度指标，使研究者得以量化算法对查询执行成本的改进效果。它推动了利用深度学习模型进行索引建议、连接顺序重排及谓词下推等优化策略的可重复研究，显著提升了查询重写系统的可复现性与透明性。

实际应用

在实际部署中，Effi-SQL可无缝嵌入云数据库运维平台与数据管道治理工具中，用于自动识别生产环境中的慢查询并进行批量化改写。其所涵盖的约束对齐机制尤其适用于大规模在线事务处理系统，能够在确保语义等价的前提下缩减查询响应时间。此外，该数据集还支持开发面向非数据库专家的智能查询助手，辅助数据分析师编写高性能SQL语句，降低数据仓库的维护成本。

数据集最近研究

最新研究方向

Effi-SQL数据集聚焦于SQL查询效率优化这一前沿方向，为数据库性能调优提供了标准化评估基准。随着大数据时代数据量激增，低效SQL查询成为系统性能瓶颈的核心痛点，该数据集通过提供慢查询与人工验证的优化版本对，结合查询执行计划(QEP)等细粒度字段，为自动化SQL优化模型训练与评测奠定了坚实基础。其关联的Diff-SQL方法展示了利用生成式AI重构SQL补丁的革新路径，尤其在PostgreSQL生态下，该数据集推动着从传统人工调优向智能优化范式的跨越，对降低数据库运维成本、提升云端与本地系统响应效率具有里程碑意义。