VictorDCh/spider-clean-text-to-sql

该数据集主要用于文本到SQL生成任务，包含训练集、开发集和测试集。数据集的特征包括db_id、query、question和schema，分别表示数据库ID、SQL查询、自然语言问题和数据库模式。数据集的规模在1K到10K之间，适用于文本到SQL生成任务。

This dataset is primarily intended for text-to-SQL generation tasks, and it includes training, development, and test sets. Its features consist of db_id, query, question, and schema, which respectively represent database ID, SQL query, natural language question, and database schema. The size of this dataset ranges from 1K to 10K, and it is suitable for text-to-SQL generation tasks.

原始信息汇总

数据集概述

语言

• 英语（en）

数据规模

• 1K<n<10K

任务类别

• 文本到文本生成（text2text-generation）

数据集信息

特征

• db_id: 字符串类型
• query: 字符串类型
• question: 字符串类型
• schema: 字符串类型

数据分割

• 训练集（train）
  • 字节数: 15299773
  • 样本数: 6016
• 验证集（dev）
  • 字节数: 1142702
  • 样本数: 665
• 测试集（test）
  • 字节数: 3542050
  • 样本数: 1929

数据大小

• 下载大小: 585756 字节
• 数据集大小: 19984525 字节

配置

• 默认配置（default）
  • 数据文件路径:
    • 训练集: data/train-*
    • 验证集: data/dev-*
    • 测试集: data/test-*

标签

• text-to-sql
• spider
• sql

搜集汇总

数据集介绍

构建方式

在自然语言处理与数据库交互的交叉领域中，文本到SQL（Text-to-SQL）任务旨在将自然语言问题自动转化为可执行的SQL查询语句，是智能数据分析的关键技术之一。VictorDCh/spider-clean-text-to-sql数据集基于经典的Spider数据集进行清洗与优化构建而成。其构建过程首先从原始Spider数据中提取包含数据库标识符（db_id）、自然语言问题（question）、标准SQL查询（query）以及数据库模式（schema）的样本，随后通过人工与自动化工具结合的方式，对问题表述的歧义性、SQL语法的准确性以及模式匹配的一致性进行校正，最终形成结构清晰的训练、验证与测试划分，其中训练集包含6016条样本，开发集665条，测试集1929条，总计超过8610条高质量实例。

特点

该数据集的核心特点在于其专注于文本到SQL任务的规范化与纯净性，为模型训练提供了可靠基准。与原始Spider相比，它通过去除噪声和标准化表述，显著降低了因数据质量问题导致的模型偏差。数据集涵盖多种数据库模式，每个样本均包含完整的自然语言问题与对应SQL查询，支持跨领域泛化能力评估。此外，其规模适中（1K至10K之间），既避免了小样本过拟合风险，又降低了大规模计算资源需求，特别适合作为学术研究与工业应用的标准化测试床。数据集的英文标注确保了与国际主流研究的兼容性，而明确的标签体系（text-to-sql、spider）便于研究者快速定位与引用。

使用方法

使用该数据集时，研究者可直接通过HuggingFace Datasets库加载，指定配置名为'default'并选择相应数据划分（train、dev、test）。典型应用流程包括：首先利用训练集对序列到序列（Seq2Seq）或基于Transformer的文本到SQL模型进行端到端训练，输入为自然语言问题与数据库模式，输出为SQL查询语句；随后使用开发集进行超参数调优与模型选择；最后在测试集上评估泛化性能。数据字段设计简洁，'question'与'schema'作为输入特征，'query'为预测目标，'db_id'用于多库场景下的上下文管理。建议结合预训练语言模型（如T5、BART）进行微调，并采用精确匹配（Exact Set Match）等指标衡量生成SQL的正确性。

背景与挑战

背景概述

在自然语言处理与数据库交互的交叉领域中，文本到SQL（Text-to-SQL）任务旨在将自然语言问题自动转换为可执行的数据库查询语句，其核心挑战在于弥合非结构化语言与结构化查询之间的语义鸿沟。VictorDCh/spider-clean-text-to-sql数据集应运而生，作为经典Spider数据集的精炼版本，由研究团队于近年创建，专注于提供更清洁、更一致的标注数据。该数据集包含约8600个样本，涵盖训练、验证和测试三个子集，每个样本由数据库标识、标准SQL查询、自然语言问题及数据库模式构成。其核心研究问题在于评估模型在跨领域、多表复杂查询场景下的泛化能力，尤其关注语义解析的准确性与鲁棒性。该数据集对Text-to-SQL领域产生了深远影响，成为衡量先进模型（如基于预训练语言模型的解析器）性能的重要基准，推动了从简单单表查询到复杂嵌套查询的技术演进。

当前挑战

当前VictorDCh/spider-clean-text-to-sql数据集面临多重挑战。首先，在领域问题层面，Text-to-SQL任务固有的语义歧义性依然突出——自然语言问题中隐含的指代消解、数值推理和多表连接逻辑难以被模型准确捕捉，导致在未见过的数据库模式上泛化能力不足。其次，构建过程中，原始Spider数据集存在标注不一致和噪声问题，尽管本版本进行了清理，但跨领域数据库的多样性（如学术、商业、医疗等）仍使SQL查询的标准化表述面临挑战，例如同义问题表述对应不同SQL结构的情况。此外，数据集的规模相对有限（约8600例），难以充分覆盖真实世界中的长尾查询模式，使得模型在应对罕见SQL语法或复杂子查询时性能显著下降。最后，测试集的构建需确保与训练集在数据库分布和查询复杂度上的独立性，以避免数据泄露，这进一步增加了数据集维护的复杂性。

常用场景

经典使用场景

在自然语言处理与数据库交互的交叉领域中，Spider-Clean文本到SQL数据集扮演着举足轻重的角色。该数据集通过提供经过清洗的高质量自然语言查询与对应SQL语句的配对样本，为跨领域文本到SQL生成任务奠定了坚实的基准。其经典使用场景聚焦于训练和评估模型在复杂多表数据库上，将自由形式的英文问题精准转化为可执行的SQL查询语句，尤其强调对多表连接、嵌套查询及聚合操作等复杂语义的解析能力。

衍生相关工作

围绕Spider-Clean数据集，学术界衍生了一系列具有影响力的经典工作。其中，基于注意力机制的序列到序列模型率先在此基准上实现了显著突破，而后续的预训练语言模型如T5、BART及其针对SQL语法优化的变体，进一步刷新了多项指标。更为重要的是，该数据集催生了包括RAT-SQL、SmBoP在内的图神经网络与骨架解析方法，这些工作不仅深化了对数据库结构编码的理解，还推动了跨领域泛化与少样本学习等前沿方向的发展，成为后续研究不可或缺的参照标杆。

数据集最近研究

最新研究方向

在自然语言处理与数据库交叉领域，文本到SQL（Text-to-SQL）任务始终是智能数据查询的核心挑战。VictorDCh/spider-clean-text-to-sql数据集作为经典Spider数据集的精炼版本，近期被广泛用于评估大语言模型在复杂跨领域语义解析中的泛化能力。前沿研究方向聚焦于利用该数据集提升模型对自然语言歧义性的消解、多表联接的推理准确性以及嵌套子查询的生成鲁棒性。特别是随着ChatGPT等生成式AI的爆发，该数据集成为衡量模型是否具备“从口语化问题到精确SQL语句”端到端转换能力的标杆，推动了基于指令微调与少样本学习的Text-to-SQL技术突破。其影响在于为构建更智能的数据库交互界面提供了标准化测试床，助力企业级数据分析工具实现自然语言查询的工业化落地。