ramachetan22/sql-create-context-v2

`sql-create-context-v2`数据集是对原始WikiSQL和Spider数据集的增强，专注于文本到SQL任务，特别强调减少列名和表名的幻觉。此版本引入了JSONL格式以提高数据处理和迭代的效率，并采用结构化方法表示数据集条目中的SQL查询。关键增强包括数据集格式转换为JSON Lines (JSONL)和结构化查询表示。样本条目展示了数据集的结构，包括问题、上下文和SQL查询答案。

原始信息汇总

sql-create-context-v2 数据集

概述

sql-create-context-v2 数据集是在 WikiSQL 和 Spider 数据集的基础上进行增强的，专注于文本到 SQL 任务，特别强调减少列和表名的幻觉。该版本引入了 JSON Lines (JSONL) 格式，以提高大数据集的处理效率和迭代速度，并采用结构化的方法来表示数据集条目中的 SQL 查询。

关键增强

• 数据集格式： 转换为 JSON Lines (JSONL) 格式，以改善大型数据集的处理和单个记录的流线型处理。
• 结构化查询表示： 每个 SQL 查询答案现在都封装在一个以 SQL_Query 为键的对象中，便于查询文本和其他元数据的清晰分离。

示例条目

json { "question": "Please show the themes of competitions with host cities having populations larger than 1000.", "context": "CREATE TABLE city (City_ID VARCHAR, Population INTEGER); CREATE TABLE farm_competition (Theme VARCHAR, Host_city_ID VARCHAR)", "answer": {"SQL_Query": "SELECT T2.Theme FROM city AS T1 JOIN farm_competition AS T2 ON T1.City_ID = T2.Host_city_ID WHERE T1.Population > 1000"} }, { "question": "Please show the different statuses of cities and the average population of cities with each status.", "context": "CREATE TABLE city (Status VARCHAR, Population INTEGER)", "answer": {"SQL_Query": "SELECT Status, AVG(Population) FROM city GROUP BY Status"} }

搜集汇总

数据集介绍

构建方式

在自然语言处理与数据库交互的交叉领域中，文本到SQL（Text-to-SQL）任务旨在将用户自然语言查询自动转化为可执行的结构化查询语句。sql-create-context-v2数据集是在原始基于WikiSQL和Spider构建的数据集基础上进行深度优化的产物，其核心目标是缓解模型对列名与表名的幻觉现象。该数据集的构建方式采用了JSON Lines（JSONL）格式，相较于传统格式，这种设计显著提升了大规模数据的处理效率与单条记录的流式迭代能力。每个样本的结构化查询答案不再以纯文本形式呈现，而是封装于以SQL_Query为键的对象之中，从而实现了查询文本与其他元数据之间的清晰分离。这种精细化的数据结构设计，为后续模型训练和评估提供了更为稳健的输入基础。

特点

该数据集最显著的特征在于其对抗幻觉的针对性设计，通过规范化的查询表示与上下文信息整合，有效降低了模型在生成SQL语句时出现虚构列名或表名的风险。数据集中每条样本均包含三个核心要素：自然语言问题、对应的数据库模式上下文（以CREATE TABLE语句形式呈现），以及结构化的SQL查询答案。这种三元组结构不仅保留了原始数据的语义完整性，还通过上下文与答案的紧密耦合，促使模型学习到更为准确的模式映射关系。此外，JSONL格式的采用使得数据加载更加灵活，支持按需读取与增量处理，特别适用于资源受限或需要动态扩展的训练场景。

使用方法

使用sql-create-context-v2数据集时，开发者可直接通过HuggingFace Datasets库进行加载，利用其内置的迭代器高效处理JSONL格式数据。在模型训练阶段，建议将每条记录中的question字段作为输入序列，context字段作为辅助提示，而answer中的SQL_Query则作为目标输出。为充分发挥该数据集在减少幻觉方面的优势，可结合模式感知的编码器或注意力机制，在训练过程中强化对上下文结构的理解。同时，该数据集兼容主流的序列到序列模型框架，如T5或BART，只需将输入拼接为“问题 + 上下文”的格式，并针对SQL语法进行适当的标记化处理。评估时，可采用执行准确率（Execution Accuracy）作为核心指标，以验证生成查询在真实数据库上的可执行性。

背景与挑战

背景概述

在自然语言处理与数据库交互的交叉领域中，文本到SQL（Text-to-SQL）任务旨在将自然语言查询自动转化为可执行的结构化查询语句，这一技术对于降低非专业用户访问数据库的门槛具有深远意义。sql-create-context-v2数据集由Rama Chetan Atmudi于2024年创建，其核心研究动机在于解决现有Text-to-SQL模型中普遍存在的列名与表名幻觉问题——即模型生成SQL时错误地引用不存在的字段或表结构。该数据集在b-mc2于2023年发布的sql-create-context基础上进行了关键改进，而后者又衍生自经典的WikiSQL与Spider数据集。通过引入JSONL格式与结构化查询表示，该数据集显著提升了大规模数据处理的效率与迭代流畅性，为构建更鲁棒、更可信的语义解析模型提供了坚实基础，在自然语言到数据库转换的研究领域展现出重要的推动力。

当前挑战

当前Text-to-SQL领域面临的核心挑战之一在于模型对数据库模式（Schema）的准确理解与泛化能力不足，尤其当查询涉及多表连接或复杂聚合操作时，模型常因对列名与表名的错误记忆而产生幻觉输出，导致SQL语句不可执行或逻辑错误。sql-create-context-v2数据集在构建过程中亦遭遇多重困难：首先，原始数据源（WikiSQL与Spider）的查询分布不均衡，简单查询占比较高，需通过精心筛选与重组以增强对复杂查询的覆盖；其次，将原始数据集转换为JSONL格式时，需确保每条记录的结构一致性，同时保留上下文与SQL查询的语义完整性，这对数据清洗与验证流程提出了严苛要求；最后，为减少幻觉现象，设计者必须对每个查询的上下文进行人工审核与补充，确保CREATE TABLE语句中的字段定义与实际查询引用完全匹配，这一过程耗费了大量标注资源与时间成本。

常用场景

经典使用场景

在自然语言处理与数据库交叉领域中，sql-create-context-v2数据集主要服务于文本到SQL（Text-to-SQL）任务的模型训练与评估。其核心应用场景在于将人类自然语言查询转化为可执行的结构化查询语句，特别针对跨领域、多表连接的复杂查询场景。通过提供带有表结构上下文的问答对，该数据集使模型能够学习如何从给定的数据库模式中准确提取列名与表名，并生成语法正确的SQL代码，从而有效提升语义解析系统的泛化能力与鲁棒性。

解决学术问题

该数据集着力解决Text-to-SQL研究中长期存在的幻觉问题——即模型在生成SQL时捏造不存在的列名或表名。通过引入结构化查询表示与JSONL格式，它优化了数据处理的效率，并为模型提供了更清晰的模式-查询对应关系。这有助于缓解语义解析模型在缺乏足够上下文时的臆测行为，推动学术界更深入地研究如何利用数据库模式信息来约束生成过程，从而提升查询生成的忠实度与准确性。

衍生相关工作

该数据集衍生自b-mc2的sql-create-context，并进一步溯源至WikiSQL与Spider两大经典基准。其改进版本催生了多项后续研究，包括但不限于基于预训练语言模型的语义解析微调、利用提示工程减少幻觉的探索，以及面向多轮对话的上下文感知SQL生成工作。这些工作共同推动了Text-to-SQL领域从简单单表查询向复杂多表、跨领域场景的演进，并为评估模型在真实数据库环境下的实用性提供了重要参考。