ALeRCE text-to-SQL dataset

ALeRCE文本到SQL数据集由智利大学等研究机构联合构建，旨在为天文数据库的自然语言查询提供基准支持。该数据集包含110对精心设计的自然语言问题与对应SQL查询，数据来源于ALeRCE天文数据库，该数据库整合了兹威基瞬变设施和维拉·鲁宾天文台的观测数据流。数据集的创建过程涉及领域专家手工编写问题与查询对，以确保其覆盖不同复杂度的天文查询场景。该数据集主要应用于评估大型语言模型在天文领域的文本到SQL解析能力，解决天文数据查询的专业门槛问题，推动科学数据库的民主化访问。The ALeRCE Text-to-SQL dataset was jointly developed by research institutions including the University of Chile, with the goal of providing benchmark support for natural language queries against astronomical databases. This dataset consists of 110 carefully crafted pairs of natural language questions and their corresponding SQL queries, sourced from the ALeRCE astronomical database, which integrates observational data streams from the Zwicky Transient Facility and the Vera C. Rubin Observatory. The dataset construction process involved domain experts manually composing these question-query pairs to ensure coverage of astronomical query scenarios with diverse complexity levels. This dataset is primarily applied to evaluate the text-to-SQL parsing capabilities of large language models in the astronomical domain, addressing the professional threshold barrier for astronomical data querying and promoting democratized access to scientific databases.

搜集汇总

数据集介绍

构建方式

在天文学领域，随着海量观测数据的涌现，如何让研究者以自然语言便捷地查询专业数据库成为一项亟待解决的挑战。ALeRCE text-to-SQL 数据集正是为应对这一需求而构建。该数据集基于智利领导的 ALeRCE 天文数据库，该数据库包含 25 张表与 304 列，存储了天体对象、光变曲线、机器学习分类概率等丰富信息。构建过程中，研究团队首先纳入 21 个由 ALeRCE 团队在研讨会上用于教学的自然语言/SQL 对，随后邀请 10 位天文学家提出真实查询需求，并确保所有答案均可从 ALeRCE 数据库中获取，最终由 SQL 专家为这 89 个问题编写标准 SQL 查询，形成总计 110 个自然语言/SQL 对的黄金数据集。

特点

该数据集的一个显著特点是其真实性与领域针对性，所有查询问题均源自天文学家的实际研究需求，涵盖了从简单到复杂的多种难度层级。数据集依据查询所需表的数量与类型，将查询划分为简单、中等和困难三个等级，其中简单查询涉及最多两张基础表，中等查询需要多表联合或包含子查询，而困难查询则可能涉及三张以上表或多个复杂子查询。此外，数据集不仅包含常见的天体对象查询、光变曲线提取和交叉匹配，还纳入了对特定星表、数据质量过滤等专业需求，充分反映了天文学研究的多样性与复杂性，为评估大语言模型在领域特定文本转 SQL 任务中的性能提供了精准的基准。

使用方法

使用该数据集时，研究者可采用上下文学习的方法，通过设计精良的提示词来驱动大语言模型生成可执行的 SQL 查询。数据集提供了详细的数据库模式描述与外部知识（如修正儒略日转换），用户可结合零样本或少量样本提示，直接调用模型进行推理。为提升复杂查询的准确率，建议采用分步推理框架：首先进行模式链接以对齐问题与数据库表列，接着进行查询难度分类，随后针对中高难度查询进行问题分解，最后通过自纠正模块修复执行错误。该数据集已公开，研究者可将其作为基准，评估不同大语言模型在天文学文本转 SQL 任务上的表现，并进一步优化提示工程策略。

背景与挑战

背景概述

ALeRCE text-to-SQL数据集诞生于天文学与人工智能深度交融的时代背景下，由智利大学、千年天体物理研究所等机构的P.A. Estévez、J. Espejo-Moreira等研究人员于2025至2026年间合作创建。该数据集旨在解决天文学大数据时代面临的'民主化数据访问'这一核心问题。随着Zwicky瞬变设施和Vera C. Rubin天文台等大型巡天项目源源不断地产生海量观测数据，传统SQL查询方式对天文学家的专业技能要求极高，成为数据利用的瓶颈。ALeRCE作为这两个重要巡天项目的社区数据经纪人，其数据库中包含25张表、304个字段，但掌握Astronomical Data Query Language等专业查询语言需要大量学习成本。该数据集正是为搭建一座连接自然语言与结构化查询的桥梁而生，通过构建110组自然语言与SQL查询配对样本，使天文学家能够用日常语言交互式地探索宇宙中的瞬变天体，在推动天文数据科学大众化方面具有开创性意义。

当前挑战

该数据集所应对的挑战体现在两个层面。首先是领域问题层面：天文数据库具有极强的领域特殊性，包含大量专业缩写（如z代表红移）、复杂的数值函数运算、以及Modified Julian Date等独特日期格式，这些特性使得通用text-to-SQL系统在Spider等基准上取得的80%以上执行准确率，在此类科学数据库上骤降至仅21%至33%，暴露出当前最先进算法在真实世界科学问题面前的脆弱性。其次是构建过程中遇到的挑战：团队需确保生成的110组NL/SQL配对既覆盖典型天文查询（如光变曲线检测、径向搜索、交叉匹配），又能应对极具领域特色的复杂查询（如跨多表联合查询、嵌套子查询）；同时在分类上设计了简单、中等、困难三个层次，其中困难查询需涉及三个以上表格或复杂子查询优化，这对LLM的模式链接、查询分解和自校正能力提出了严苛考验。

常用场景

经典使用场景

在当代天文学研究范式下，大型时域巡天项目如ZTF和即将运行的Rubin天文台持续产生海量数据流，如何高效、精准地从中检索科学信息成为关键挑战。ALeRCE text-to-SQL数据集正是在这一背景下应运而生，其核心使用场景在于将自然语言查询自动转化为可执行的SQL语句，实现对ALeRCE天文数据库的语义化访问。该数据集包含110组精心设计的中文/英文自然语言与SQL配对查询，覆盖从简单到困难的三个难度层级，涉及天体目标筛选、光变曲线检测、交叉匹配、机器学习分类概率检索等典型天文查询需求，为构建基于大语言模型的天文智能查询系统提供了关键的训练与评估基准。

实际应用

在实际应用层面，ALeRCE text-to-SQL系统及其数据集已展现出显著的社会与技术价值，尤其服务于天文学研究中数据获取的民主化进程。通过将自然语言接口集成至ALeRCE天文平台，该系统使全球超过27000名来自139个国家的注册用户无需掌握复杂的SQL语法即可自由探索天体物理数据，例如检索特定类型的瞬变源、获取光变曲线或执行空间交叉匹配。这一自然语言交互界面不仅降低了研究生和跨学科研究者获取专业天文数据的认知负担，还极大地缩短了从科学假设到数据验证的周期，为及时识别罕见天体现象（如超新星或引力波对应体）赢得了宝贵时间。

衍生相关工作

ALeRCE text-to-SQL数据集的构建与公开催生了一系列富有启发性的衍生工作。受其启发，研究者们在科学数据库领域进一步探索了检索增强生成(RAG)与函数调用相结合的混合查询策略，以实现对天文时间格式（如MJD）和天体坐标的自动解析。在提示工程维度，该数据集促进了结构化链式思考(SCoT)和掩码问题相似性选择(MQS)等少样本示例选取策略的深入评估。此外，数据集的自我修正模块设计理念被后续工作借鉴，发展出基于Pydantic验证的SQL抽象语法树修正方法，有效抑制了模型在生成查询时编造表名或列名的幻觉现象，为构建更加稳健的AI研究助手奠定了方法论基础。