Spider-Realistic

在论文“Structure-Grounded Pretraining for Text-to-SQL”中使用 Spider-Realistic 数据集进行评估。该数据集是基于 Spider 数据集的 dev 拆分创建的（来自 https://yale-lily.github.io/spider 的 2020-06-07 版本）。我们手动修改了原始问题以删除列名的明确提及，同时保持 SQL 查询不变，以更好地评估模型在对齐 NL 话语和 DB 模式方面的能力。有关更多详细信息，请查看我们的论文 https://arxiv.org/abs/2010.12773。The Spider-Realistic dataset was utilized for evaluation in the paper titled "Structure-Grounded Pretraining for Text-to-SQL". This dataset is constructed based on the dev split of the Spider dataset (version dated 2020-06-07 from https://yale-lily.github.io/spider). We manually revised the original questions to remove explicit mentions of column names, while keeping the SQL queries unchanged, to better evaluate the model's ability to align natural language utterances with database schemas. For more details, please refer to our paper at https://arxiv.org/abs/2010.12773.

搜集汇总

背景与挑战

背景概述

Spider-Realistic是一个用于文本到SQL转换任务评估的数据集，基于Spider数据集的dev拆分创建，通过删除列名提及来增强模型评估。由微软和俄亥俄州立大学发布，相关研究发表于论文《Structure-grounded pretraining for text-to-SQL》。