birdsql/livesqlbench-base-full-v1

LiveSQLBench是一个动态的、无污染的基准测试，用于评估大型语言模型在复杂、真实世界的文本到SQL任务上的性能。它包含多样化的真实世界用户查询，包括商业智能(BI)、CRUD操作等。每个版本都会包括大约20个新的、完全开源的数据库，由BIRD团队通过专家合作和持续改进进行策划。它涵盖了从终端用户级别到工业级别的各种数据库大小，支持SQL查询的全谱系，包括SELECT、CREATE、UPDATE等操作，并提供了自动化评估和实时、隐藏测试的功能。

LiveSQLBench is a dynamic, contamination-free benchmark designed to evaluate large language models on complex, real-world text-to-SQL tasks. It includes diverse real-world user queries, such as Business Intelligence (BI) and CRUD operations. Each release features around 20 new, fully open-source databases curated by the BIRD team through expert collaboration and continuous improvement. It covers a wide range of database sizes from end-user level to industrial level, supports the full SQL spectrum including SELECT, CREATE, UPDATE operations, and provides automated evaluation as well as live and hidden test capabilities.

原始信息汇总

由于提供的HTML文本内容中不包含数据集的详细信息（仅有跳转提示），因此无法从该页面中提取数据集的总结内容。

搜集汇总

数据集介绍

构建方式

LiveSQLBench-Base-Full-v1 由香港大学 BIRD 团队与 Google Cloud 联合构建，旨在评估大语言模型在复杂、真实世界的文本到 SQL 任务上的表现。该数据集包含 22 个全新的终端用户级别数据库与 600 个全新任务，涵盖 410 个 SELECT 查询与 190 个数据库管理操作。每个任务都配有无歧义的自然语言用户查询、标准 SQL 解答以及可验证的测试用例。通过基于 CSV 数据集动态构建数据库，并采用 PostgreSQL 模板与 Docker 容器实现自动化评估，确保结果的可重复性与准确性。为防止数据泄露，真实答案与测试用例需通过电子邮件单独申请获取。

特点

该数据集的核心特色在于其真正的实时性与抗污染能力，每个版本均包含全新的隐藏测试集，随着版本迭代，旧版隐藏集转换为公开开发集，确保持续演化与公平评估。数据集中引入层次化知识库（HKB），要求模型具备多跳推理性，并提供结构化 JSON 与非结构化文档两种格式。此外，该数据集首次支持完整的 SQL 操作谱系，不仅涵盖传统的 SELECT 业务智能查询，还包括 CREATE、UPDATE、DELETE 等 CRUD 操作，全面检验模型对数据库管理的掌握程度。数据库设计更加真实复杂，包含多对多关系与噪声模式，用户查询也更加口语化且隐含映射难度。

使用方法

使用者可通过 Git 克隆 HuggingFace 仓库获取数据集文件，包括 livesqlbench_data.jsonl 以及各数据库的模式、层次化知识库、列含义等元数据。为确保公平评测，需通过电子邮件向 BIRD 团队申请获取受保护字段（如标准 SQL 解答、测试用例及外部知识 ID），邮件主题需注明指定标签，系统会在 30 分钟内自动回复。完整的 PostgreSQL 数据库转储与构建脚本可从 Google Drive 下载。评估细节、Docker 配置及运行方式可参考官方 GitHub 仓库中的说明文档，以实现标准化的评测流程。

背景与挑战

背景概述

LiveSQLBench-Base-Full-v1是由香港大学BIRD团队与Google Cloud联合推出的动态、免污染的文本到SQL评估基准，于2025年首次发布。该数据集聚焦于大语言模型在复杂真实世界数据库交互中的表现，涵盖商业智能（BI）与CRUD操作等多元用户查询。其核心研究问题在于评估模型面对包含多对多关系、噪声模式与数据的工业级数据库时的语义解析与多跳推理能力。通过引入层级知识库（HKB）与自动化测试框架，该基准为ICLR 2026口头报告论文BIRD-Interact提供了基础设施支持，推动了文本到SQL领域向动态化、抗污染评估范式的演进，对相关研究具有重要影响力。

当前挑战

该数据集所解决的领域挑战主要包括三个方面：其一，传统静态基准易受数据泄露影响，难以真实反映模型泛化能力，LiveSQLBench通过隐藏测试集与持续更新机制，确保评估的公平性与时效性；其二，真实世界用户查询常隐含歧义性与多跳推理需求，模型需结合层级知识库实现深层语义理解；其三，数据库规模从百列终端级扩展至千列工业级，且包含完整SQL操作谱系（含CRUD），对模型的可扩展性与操作鲁棒性提出严苛要求。构建过程中，团队需对22个新数据库进行专家协作标注与质量审核，同时设计可复现的PostgreSQL自动化评估流水线，以平衡数据复杂度与可用性，克服了大规模知识库对齐与测试用例生成的挑战。

常用场景

经典使用场景

在自然语言处理与数据库交叉研究领域，LiveSQLBench-Base-Full-v1 被广泛用于评估和提升大语言模型在复杂真实场景下的文本到SQL转换能力。该数据集提供了22个全新的终端级数据库和600个精心设计的任务，涵盖SELECT查询与管理操作（如CRUD），并配备层次化知识库以模拟多跳推理场景。研究者通常利用该数据集测试模型在包含噪声、多对多关系及隐含语义的真实数据库上的泛化性能，从而推动大语言模型向更贴近实际用户需求的交互式查询方向发展。其动态更新和防污染机制确保了评测的公平性与时效性，使其成为该领域标杆性的评测基准。

解决学术问题

该数据集深刻回应了学术研究中关于大语言模型在结构化数据查询任务中泛化能力与鲁棒性不足的困境。传统文本到SQL基准多采用静态、封闭的测试集，易受数据泄露和过拟合影响，且任务类型局限于简单SELECT查询。LiveSQLBench-Base-Full-v1通过引入持续演进的实时数据库、涵盖CRUD的全谱查询类型以及依赖关系复杂的层次化知识，系统性地解决了模型在多跳推理、隐含语义解析和噪声环境下的适应性难题。其开放与隐藏测试阶段交替的机制，为建立可持续、无污染的评估范式提供了方法论参考，显著推动了对模型真实性能的客观认知。

衍生相关工作

围绕LiveSQLBench-Base-Full-v1衍生的代表性工作包括BIRD-Interact（被ICLR 2026接收为Oral论文），该工作利用该基准构建了动态人机交互式文本到SQL评测框架，强调了人在环路中的协作推理能力。此外，研究团队还发布了数据集的轻量版LiveSQLBench-Base-Lite及其SQLite兼容版，以降低实验门槛。后续的Large-v1版本则将数据库规模扩展至工业级别，每库包含逾千列，旨在检验模型在超大规模模式下的伸缩性。命令行交互变体LiveSQLBench-CLI亦在开发中，其使编码代理能够通过终端工作流自主探索数据库并迭代求解SQL任务，进一步拓展了评测的应用边界。