megagonlabs/magesql-spider-derived

MageSQL 是一个基于 Spider 数据集（Yu 等人，2018）衍生和改编的文本到 SQL 数据集。该数据集由 Megagon Labs, Inc. 修改，包括合并了 Spider 的训练分割（train_spider 和 train_others），提取了数据库模式文本，映射了问题到标准 SQL，生成了问题嵌入，并训练了数据库路由分类器。所有文件遵循 CC BY-SA 4.0 许可，需注明原始作者和修改信息。数据集包含多个文件，如合并的训练数据、模式文本映射、问题-SQL 映射、预计算问题嵌入和训练好的路由模型，用于支持大型语言模型在文本到 SQL 应用中的多代理框架。MageSQL is a Spider-derived dataset adapted from the Spider dataset (Yu et al., 2018) for text-to-SQL tasks. It is modified by Megagon Labs, Inc., including merging the Spider train splits (train_spider and train_others), extracting database schema text, mapping questions to gold SQL, generating question embeddings, and training a database-routing classifier. All files remain under CC BY-SA 4.0 license with attribution to the original authors and indication of modification. The dataset contains files such as merged training data, schema text mapping, question-SQL mapping, precomputed question embeddings, and a trained routing model, designed to support multi-agent frameworks for text-to-SQL applications with large language models.

搜集汇总

数据集介绍

构建方式

MageSQL-Spider-Derived数据集基于广泛使用的Spider数据集构建，由Megagon Labs团队对其进行了深度改造与扩展。原始Spider数据涵盖了多个领域的文本到SQL任务，而本次衍生版本通过合并Spider训练集的两个拆分文件（train_spider.json与train_others.json）形成统一的训练数据。同时，团队提取了每个数据库的架构文本，并建立了问题与标准SQL查询之间的映射关系，从而夯实了后续多智能体框架中涉及的模式检索与SQL检索模块的基础。

特点

该数据集的核心特色在于其多层次的预处理产物。除合并后的训练数据外，它提供了每个数据库的架构文本描述（db_id2schema_text.json）、问题到正确SQL的映射文件（question2sql.json）以及预计算的问题嵌入向量（question_embeddings.pt）。此外，还附带了一个经过训练的数据库路由分类器（database_routing_spider_v1.zip），专门用于在多数据库场景下自动判断问题应路由至哪个数据库，显著提升了文本到SQL系统的推理效率。

使用方法

使用时，可直接加载合并后的训练数据用于模型微调或评估。通过db_id2schema_text.json，可快速获取数据库结构与上下文信息，便于配合Schema Fetching代理增强SQL生成质量。question2sql映射支持检索最相关的标准SQL作为提示，question_embeddings则可用于构建语义检索管道。数据库路由分类器可直接部署，实现问题到目标数据库的自动分派，适用于复杂的多数据库对话场景。

背景与挑战

背景概述

MageSQL-Spider-Derived数据集由Megagon Labs的研究人员于2024年创建，其核心研究问题聚焦于利用多智能体框架提升文本到SQL任务的性能。该数据集基于经典的Spider数据集（Yu et al., 2018）进行衍生与适配，后者作为跨领域语义解析的标杆，长期推动着自然语言到结构化查询语言转换的研究。通过合并训练分割、提取数据库模式文本及预计算问题嵌入等创新性改造，MageSQL为多智能体协作下的数据库路由与模式检索提供了标准化基准，显著增强了大规模语言模型在复杂文本到SQL场景中的实用性与可复现性，对知识工程与智能数据库交互领域产生了深远影响。

当前挑战

该数据集所解决的领域挑战主要在于多库、跨领域场景下文本到SQL的高精度转换，尤其是当涉及大量候选数据库时，如何有效识别目标数据库并捕获取代复杂模式信息的难题。构建过程中，Megagon Labs面临多重挑战：首先需在保留Spider原始标注一致性的前提下，将零散训练分割无缝合并，确保数据完整性；其次，需为每个数据库精确提取结构化模式文本，并映射问题与黄金SQL，形成可用于检索的关联数据；此外，还需预计算高效的问题嵌入并训练稳健的数据库路由分类器，以应对多智能体推理中实时性要求与分类准确率之间的权衡。

常用场景

经典使用场景

在自然语言处理与数据库交汇的学术疆域中，magesql-spider-derived数据集常被用于训练和评估文本到SQL（Text-to-SQL）解析模型。该数据集整合了Spider语料库的训练划分，通过提供标准化的提问与对应的SQL查询语句，为研究者构建精准的语义解析器奠定了坚实基础。其典型应用包括多表联合查询、嵌套子查询以及跨领域数据库的泛化能力测试，成为衡量模型在复杂结构化查询生成任务中表现的核心基准。

实际应用

在实际生产环境中，magesql-spider-derived数据集驱动的技术被部署于智能数据分析助手与低代码查询界面中。例如，商业智能工具可借助该数据集训练的模型，让用户通过自然语言直接查询企业内部的复杂关系型数据库，而无需掌握SQL语法。此外，客服系统的数据检索模块也利用其数据库路由能力，在多个业务数据库间智能分配用户提问，显著提升了信息获取效率与交互的流畅性。

衍生相关工作

基于该数据集的预处理成果，一系列经典衍生工作应运而生。Shen等人于2024年提出的MageSQL多智能体框架正是其直接应用典范，通过将数据库模式获取、SQL生成与结果验证解耦为独立智能体，展现了模块化架构在复杂查询任务中的优越性。此外，预计算嵌入被后续研究用于探索语义相似度驱动的少样本学习策略，而数据库路由分类器则启发了针对动态数据库集合的自适应索引构建方法，持续拓展着文本到SQL技术的能力边界。