NL 2 Analytic Views SQL Benchmark

该仓库包含用于自然语言到Oracle Analytic View SQL生成的基准测试资源，提供了来自多个公共数据域表的Oracle Analytic View定义、自然语言问题和黄金Analytic View SQL答案。基准测试旨在测试LLM和代理NL2SQL系统在发现分析视图元数据、选择正确的维度、层次结构、级别和度量，并使用FROM ANALYTIC VIEW (USING ...)模式生成有效Oracle SQL方面的表现。数据工件位于benchmark/目录下，包括数据表（如BROOKLYN_SALES、CALF_EMPLOYMENT_SURVEY等）的CSV文件、数据来源和许可信息。This repository contains benchmark resources for natural language to Oracle Analytic View SQL generation. It provides Oracle Analytic View definitions, natural language questions, and golden Analytic View SQL answers sourced from multiple public data domain tables. The benchmark is designed to evaluate the performance of LLMs and agent-based NL2SQL systems in discovering Analytic View metadata, selecting the correct dimensions, hierarchies, levels, and measures, and generating valid Oracle SQL using the FROM ANALYTIC VIEW (USING ...) syntax. The data artifacts are stored in the benchmark/ directory, including CSV files for data tables such as BROOKLYN_SALES, CALF_EMPLOYMENT_SURVEY, and others, along with data source and licensing information.

原始信息汇总

数据集概述

该数据集是 NL 2 Analytic Views SQL Benchmark，由 Oracle 提供，用于评估大语言模型（LLM）和 NL2SQL 系统将自然语言转换为 Oracle 分析视图（Analytic View）SQL 的能力。

数据集目的

• 测试 LLM 和代理系统发现分析视图元数据、选择正确维度、层级、级别和度量，并生成有效的 Oracle SQL（使用 FROM ANALYTIC VIEW (USING ...) 模式）的能力。

数据来源与许可

数据集包含来自多个公共数据领域的 12 张表，每张表均有对应的许可条款：

表名	来源	许可条款
BROOKLYN_SALES	NYC.gov	NYC Open Data Terms of Use (Public Domain/Open Data)
CALF_EMPLOYMENT_SURVEY	data.ca.gov	Creative Commons Attribution (CC BY 4.0)
CALF_VEHICLE_FUEL_TYPES	data.ca.gov	Public domain
ITALY_WEEKLY_FUEL_PRICES	data.europa.eu	Italian Open Data License (IODL) 2.0
MASS_WELL_DRILLING	data.mass.gov	Massachusetts Public Records Law
NYC_FOR_HIRE_VEHICLES	data.cityofnewyork.us	No restrictions on use via NYC Open Data
NYC_PAYROLL	data.cityofnewyork.us	No restrictions on use via NYC Open Data
NYPD_SHOOTING_INCIDENTS_2024	data.cityofnewyork.us	No restrictions on use via NYC Open Data
NYS_SPENDING_T	data.ny.gov	OPEN-NY Terms of Use
ONTIME_PERFORMANCE	transtats.bts.gov	Public Domain (Domaine Public US)
SMALL_AREA_HEALTH_INSURANCE_ESTIMATES	Census.gov	Federal government public-use/open data
USDA_COUNTY_POPULATION	USDA	Public domain (USDA)

数据集结构

所有数据工件位于 benchmark/ 目录下，包括：

1. Agent 规范（Agent Specs）：位于 benchmark/agent/，包含两个 Open Agent Spec 导出文件：

   • 分析视图代理（Analytic View agent）: 使用模式发现和 AV 特定元数据工具，执行候选 SQL 验证，返回最终 AV SQL。
   • 基础代理（Vanilla baseline agent）: 仅使用通用模式发现和 SQL 执行工具，不包含分析视图技能或 AV 特定工具。
   • 基准测试结果记录在 benchmark/agent/RESULTS.md。

2. 数据表（Data Tables）：

   • DDL 信息：位于 benchmark/data/ddl/，包含表 DDL、分析视图 DDL、属性维度 DDL 和层级 DDL，所有表定义属于 AV_AI 模式。详细信息见 DDL_README.md。
   • DML 信息：位于 benchmark/data/dml/，包含从源 CSV 提取的插入负载，详细信息见 DML_README.md。

3. 自然语言问题与 Oracle AV SQL 示例：位于 benchmark/data/questions/，包含每分析视图的 NL2SQL 任务文件（.jsonl 格式），详细信息见该目录的 README.md。

贡献者

• Vasileios Trigonakis
• Yassir Salmi
• Vlad Haprian
• Anne Murphy
• Onur Kocberber
• Sungpack Hong
• Ekrem Soylemez

许可

• 版权归 Oracle 及其附属公司所有，2026 年。
• 采用 Creative Commons Attribution 4.0 International License (CC BY 4.0)。

搜集汇总

数据集介绍

构建方式

该基准测试数据集围绕Oracle Analytic View（AV）的SQL生成任务构建，整合了来自多个公共数据领域的表格数据，包括纽约市房产销售、加州就业调查、意大利燃油价格等十余个权威来源。每个数据表均提供了详细的DDL定义与DML数据注入脚本，存储于benchmark/data/ddl/和benchmark/data/dml/目录中。此外，针对每一张已定义分析视图的数据表，数据集精心设计了自然语言问题及其对应的标准Analytic View SQL答案，这些问答对以JSONL格式存放在benchmark/data/questions/文件夹内，构成了完整的NL2SQL评测闭环。

使用方法

使用本数据集时，研究者首先需通过benchmark/data/ddl/中的DDL脚本在Oracle数据库中创建AV_AI模式下的表格与分析视图，随后利用benchmark/data/dml/中的DML文件导入数据。接着，可依据benchmark/agent/目录下的智能体规范（分AV智能体与基线智能体两类）配置系统，并加载benchmark/data/questions/中的问答任务文件开展评测。智能体将根据自然语言问题生成AV SQL，并借助执行与验证工具评估准确性，最终对比结果以衡量模型或系统的性能水平。

背景与挑战

背景概述

NL2 Analytic Views SQL Benchmark是一个由Oracle公司研究团队于2026年创建的基准测试数据集，主要研究人员包括Vasileios Trigonakis、Yassir Salmi、Vlad Haprian等。该数据集旨在评估大语言模型（LLM）和基于智能体的自然语言到SQL（NL2SQL）系统在生成Oracle Analytic View SQL查询方面的能力。Analytic View是Oracle数据库用于多维数据分析的高级特性，支持复杂的维度、层次和度量操作。该基准测试覆盖了多个公共数据领域，如纽约市房地产销售、加州就业统计、意大利燃油价格等，通过提供自然语言问题及其对应的标准Analytic View SQL答案，来测试系统在发现分析视图元数据、选择正确维度与度量、以及生成符合Oracle SQL语法规范查询方面的性能。该数据集的出现填补了针对复杂分析型SQL生成评测的空白，对推进NL2SQL技术在商业智能和多维分析领域的应用具有重要意义。

当前挑战

该数据集面临的核心挑战之一在于领域问题的复杂性：相比传统的简单SQL查询，Analytic View SQL要求系统深入理解多维数据模型，包括维度、层次结构、级别和度量等概念，并能根据自然语言描述精准匹配对应的分析视图元数据。另一个挑战源于构建过程：数据集需要从多个不同来源的公共数据中提取并清洗原始CSV文件，设计对应的Oracle DDL和DML脚本以创建完整的数据库模式，同时确保每个自然语言问题都有唯一且正确的Analytic View SQL答案。此外，如何使LLM生成的SQL能够有效利用Oracle特有的FROM ANALYTIC VIEW (USING ...)语法模式，并在无专门分析视图技能的情况下避免常见错误，也是评测中亟待解决的关键问题。

常用场景

经典使用场景

在自然语言处理与数据库交叉领域，NL 2 Analytic Views SQL Benchmark 基准测试被广泛用于评估大语言模型及智能体系统在生成面向分析视图的SQL语句方面的能力。该数据集通过提供涵盖多个公共数据领域的Oracle分析视图定义，辅以自然语言问题及其对应的标准分析视图SQL答案，构建了一个严谨的评测框架。研究者主要利用它测试模型能否准确发现分析视图元数据、选择恰当的维度、层级与度量，并最终生成符合Oracle语法的有效SQL，从而推动NL2SQL技术在复杂分析查询场景中的进步。

解决学术问题

该数据集有效解决了学术研究中长期存在的复杂分析型NL2SQL评测缺失问题。传统基准多聚焦于简单的单表或联表查询，而本数据集通过引入带有层级维度、动态度量和聚合语义的分析视图，系统评估模型在多维数据分析中的语义理解与SQL生成能力。其研究成果深刻揭示了通用智能体在处理专业OLAP查询时的局限性，并明确了元数据感知及领域特定工具对提升生成准确性的关键作用，为构建更智能的数据查询接口奠定了理论与实验基础。

实际应用

在实际应用中，该数据集直接服务于企业级商业智能与数据分析平台的智能化升级。通过验证大语言模型在分析视图上的查询生成效果，企业可以将其集成至内部BI工具，使业务人员能够使用自然语言直接获取多维分析结果，例如按层级汇总销售数据、按时间维度比较雇员工资趋势等。此外，该数据集还为政府数据开放平台提供技术支撑，让公众无需精通SQL即可对公共数据集执行复杂汇聚查询，显著降低了数据洞察的门槛。

数据集最近研究

最新研究方向

该基准测试聚焦于评估大语言模型及智能体系统在自然语言到Oracle分析视图SQL生成任务中的表现，特别是在多维分析场景下，模型能否准确发现分析视图元数据、选择正确的维度、层次结构、层级和度量，并生成符合语法的Oracle SQL。当前前沿方向包括利用专门的Analytic View智能体工具显著提升生成效果，相较于通用基线智能体，其在多个模型家族上均展现出压倒性优势。这一研究紧密关联自然语言处理与数据库交互的交叉领域，为降低分析型查询门槛、推动智能数据分析平台的发展提供了重要基准与实证依据。