SPIDER

Spider 是由 11 名耶鲁大学学生注释的大规模复杂跨域语义解析和文本到 SQL 数据集。 Spider 挑战的目标是开发跨域数据库的自然语言接口。它由 10,181 个问题和 5,693 个独特的复杂 SQL 查询组成，涉及 200 个数据库，多个表涵盖 138 个不同的域。在 Spider 1.0 中，不同的复杂 SQL 查询和数据库出现在训练和测试集中。要想在这方面做得好，系统必须不仅能很好地泛化到新的 SQL 查询，还必须能很好地泛化到新的数据库模式。Spider is a large-scale complex cross-domain semantic parsing and text-to-SQL dataset annotated by 11 Yale University students. The objective of the Spider challenge is to develop natural language interfaces for cross-domain databases. It comprises 10,181 questions and 5,693 unique complex SQL queries, covering 200 databases with multiple tables spanning 138 distinct domains. In Spider 1.0, distinct complex SQL queries and databases appear in both the training and test splits. To perform well on this task, systems must not only generalize effectively to unseen SQL queries but also generalize robustly to novel database schemas.

搜集汇总

背景与挑战

背景概述

SPIDER是一个大规模复杂跨域语义解析和文本到SQL数据集，由耶鲁大学学生注释，包含10,181个问题和5,693个独特SQL查询，涉及200个数据库和138个域。其挑战在于系统需泛化到新SQL查询和新数据库模式，旨在开发跨域数据库的自然语言接口，适用于问答和文本分类任务。