TrustSQL

TrustSQL是由韩国科学技术院人工智能研究所开发的用于评估文本到SQL模型可靠性的基准数据集。该数据集包含20083条数据，涵盖了可回答和不可回答的问题，旨在全面评估模型在单一数据库和跨数据库设置下的性能。TrustSQL要求模型提供SQL预测或选择不进行预测，以避免潜在的错误或处理不可回答的问题。数据集通过引入新的可靠性评分机制，奖励准确的SQL预测和正确识别不可回答的问题，同时惩罚错误的SQL预测和尝试为不可回答问题生成SQL的行为。

TrustSQL is a benchmark dataset developed by the AI Institute of the Korea Advanced Institute of Science and Technology (KAIST) for evaluating the reliability of text-to-SQL models. This dataset contains 20,083 instances, covering both answerable and unanswerable questions, and aims to comprehensively evaluate model performance under both single-database and cross-database settings. TrustSQL mandates that models either provide SQL predictions or choose not to make predictions, so as to avoid potential errors or properly handle unanswerable questions. The dataset introduces a novel reliability scoring mechanism that rewards accurate SQL predictions and correct identification of unanswerable questions, while penalizing erroneous SQL predictions and attempts to generate SQL for unanswerable questions.

搜集汇总

数据集介绍

构建方式

TrustSQL的构建基于对现有文本到SQL数据集的精心筛选与改造。首先，从单数据库场景中选取ATIS、Advising及EHRSQL，它们涵盖航空、教育及医疗领域，并具备复杂数据库模式；跨数据库场景则选用Spider以确保泛化性。随后，针对ATIS与Advising中存在的查询重复、释义单一及数据不一致问题，采用ChatGPT生成多样化的自然语言问题并辅以人工审核，同时修正空结果与映射歧义。在此基础上，核心创新在于引入五类不可回答问题，包括列表面相似、列相关、列无关、非SQL及领域外问题，通过人工标注模拟现实部署中可能遇到的多样不可答场景。最终，将可回答问题按基于问题或基于查询的方式划分训练集与验证集，而不可回答问题仅放入测试集，以评估模型对未知不可答输入的应对能力。

特点

TrustSQL的核心特点在于其首次将文本到SQL的可靠性评估整合为一个统一基准，涵盖可答与不可答两类输入。与仅关注SQL生成精度的传统基准不同，该数据集要求模型在输出SQL预测或选择弃权之间做出决策，以此模拟真实世界中用户可能提出的不可答问题。其独特性体现在对不可回答问题的系统性分类上，包括列表面相似、列相关、列无关、非SQL及领域外五类，这些类型不仅覆盖了现实场景中的常见挑战，还通过引入假设列和随机领域外问题增加了难度。此外，数据集支持单数据库与跨数据库两种设置，并采用基于问题与基于查询的划分策略，确保对模型泛化能力的全面评估。这种设计使得TrustSQL不仅能衡量模型生成正确SQL的能力，还能检测其对潜在错误的规避能力，从而更真实地反映部署时的可靠性。

使用方法

使用TrustSQL时，模型需针对每个输入问题输出SQL预测或弃权标签。评估采用可调节惩罚系数的可靠性分数，该分数奖励正确预测与正确的弃权行为，同时惩罚错误的SQL生成或对不可答问题的盲目回答。具体而言，研究者可将模型分为独立组件（如可答性检测器、SQL生成器及错误检测器）并组合成流水线，或采用统一模型同时处理任务。对于基于微调的方法，可利用输出概率或隐藏表示进行分布外检测；对于基于上下文学习的方法，则可通过提示设计（如包含正负样本演示或多次采样投票）实现弃权决策。实验表明，随着惩罚系数增大，保守策略（如多次采样投票）表现更优，但所有方法在严格场景下均难以超越全弃权基线，凸显了该基准的挑战性。

背景与挑战

背景概述

随着大型语言模型在自然语言到SQL查询转换任务中取得显著进展，模型在真实部署场景中的可靠性成为关键议题。现有研究多聚焦于提升可回答问题的SQL生成准确率，却鲜有系统评估模型面对不可回答问题或潜在错误时的应对能力。为此，韩国科学技术院的研究团队于2024年提出了TrustSQL基准数据集，旨在从单数据库与跨数据库双重视角全面评估文本到SQL模型的可靠性。该数据集不仅包含传统可回答问题，还精心标注了五类不可回答场景，要求模型在生成SQL查询或选择弃权之间做出正确决策，为构建可信赖的数据库问答系统奠定了重要基础。

当前挑战

TrustSQL所解决的核心挑战在于模型需同时应对可回答与不可回答问题的混合输入，避免对不可回答或易错问题生成SQL导致危害。具体挑战包括：1）模型需具备精准的答案性检测能力，区分五类不可回答场景（如涉及假设列、非SQL任务或域外问题）；2）在跨数据库泛化中，模型需适应未见过的数据库模式与SQL结构；3）构建过程中，原始数据集存在查询重复、自然语言多样性不足及空结果等质量问题，需通过人工审核与ChatGPT扩写进行严格预处理。实验表明，现有方法在关键场景下甚至无法超越全部弃权的朴素基线，凸显了该任务的严峻性。

常用场景

经典使用场景

在自然语言处理与数据库交互的交叉领域，文本到SQL模型常被用于将用户的自然语言查询自动转化为可执行的数据库查询语句。TrustSQL作为一项全新的基准测试，专注于评估这些模型在单数据库与跨数据库设定下的可靠性。其最经典的用途在于模拟真实部署中模型可能遭遇的多元不可回答问题，例如涉及数据库外信息、列名假设或非SQL操作等场景，从而检验模型是否具备在无法正确回答时主动放弃生成SQL的能力。这一设计突破了传统仅关注可回答问题的评估范式，为衡量模型在实际应用中的鲁棒性与安全性提供了严谨的测试框架。

实际应用

在实际应用层面，TrustSQL所倡导的可靠性评估理念对医疗、金融等高风险领域具有深远价值。例如，在电子健康记录系统中，若模型面对一个涉及数据库外信息的不可回答问题时仍强行生成SQL，可能导致错误的临床决策。TrustSQL通过要求模型在不确定或不可回答时主动放弃预测，有效避免了此类危害。此外，该基准适用于智能客服、企业数据分析等场景，帮助开发者部署更安全的自然语言数据库接口，确保模型仅在确信正确时提供查询结果，从而提升用户信任与系统稳健性。

衍生相关工作

TrustSQL的提出催生了一系列围绕文本到SQL模型可靠性的衍生研究工作。在模型架构方面，研究者探索了将可回答性检测、SQL生成与错误检测分离的流水线方法，以及使用单一模型统一处理上述任务的联合建模策略。在评估方法上，基于该数据集的可靠性评分启发了后续工作对选择性预测与置信度校准的深入探讨。此外，针对不可回答问题的检测技术，如基于随机森林的分类器与大语言模型的提示策略，也因TrustSQL的推动而得到更广泛的研究与应用，进一步丰富了该领域的理论体系与实践工具集。