Enterprise SQL Schema in the Insurance Domain

本数据集名为‘企业保险领域SQL架构’，由data.world机构创建，包含43个自然语言问题，涵盖从简单到复杂的业务报告和关键绩效指标问题。数据集基于OMG财产和意外伤害数据模型，是一个企业关系数据库架构。此外，数据集还包括一个上下文层，包含描述保险领域的业务概念、属性和关系的本体，以及从SQL架构到本体的映射，用于创建知识图谱。该数据集旨在评估大型语言模型在企业环境中对SQL数据库进行问答的准确性，并探讨知识图谱在提高准确性方面的作用。

This dataset, named "Enterprise Insurance Domain SQL Schema", was created by data.world. It contains 43 natural language questions covering simple to complex business reporting and key performance indicator (KPI)-related queries. Built on the OMG Property and Casualty Data Model, the dataset is an enterprise-grade relational database schema. Additionally, the dataset includes a contextual layer that comprises an ontology describing business concepts, attributes and relationships within the insurance domain, as well as mappings from the SQL schema to the ontology for knowledge graph construction. This dataset is designed to evaluate the accuracy of large language models (LLMs) performing question answering over SQL databases in enterprise environments, and to explore the role of knowledge graphs in enhancing such accuracy.

搜集汇总

数据集介绍

构建方式

该数据集的构建源自于OMG（对象管理组织）发布的财产与意外险数据模型，选取了其中13张核心表作为企业级SQL模式，涵盖理赔、保单、保费、巨灾等关键实体。在此基础上，研究团队设计了43个自然语言问题，这些问题按照两个维度进行分类：问题复杂度（从低到高，对应业务报表到关键绩效指标）与模式复杂度（从低到高，涉及表数量从少到多），从而形成四个象限的评估框架。此外，数据集还包含一个上下文层，由描述保险领域业务概念、属性与关系的本体（以OWL表示）以及从SQL模式到本体的映射规则（以R2RML表示）构成，用于生成知识图谱。

特点

该数据集的核心特点在于其对企业级场景的深度贴合，突破了现有Text-to-SQL基准测试在复杂模式与业务语义上的局限。它涵盖了从简单报表查询到涉及多表关联与聚合运算的复杂KPI问题，真实反映了企业运营与战略决策中的查询需求。尤为突出的是，数据集引入了本体与映射构成的上下文层，将业务知识显式化，使得知识图谱能够为大型语言模型提供精准的语义引导。实验结果表明，基于知识图谱的问答准确率（54.2%）远超直接基于SQL的问答（16.7%），尤其在高度模式复杂性的问题上，知识图谱实现了从零到近40%的准确率飞跃。

使用方法

该数据集的使用方法围绕零样本提示（zero-shot prompting）展开，以GPT-4作为底层语言模型。对于直接基于SQL的问答，将问题与数据库的DDL（数据定义语言）拼接成简单提示，要求模型生成可执行的SQL查询。对于基于知识图谱的问答，则将问题与OWL本体描述拼接成提示，要求模型生成SPARQL查询。生成的查询分别在SQL和SPARQL处理器上执行，将结果与人工构建的参考答案进行比对，以执行准确率（Execution Accuracy）作为评价标准。所有数据、模式、本体、映射及参考查询均以标准格式（CSV、DDL、RDF/TTL）公开在GitHub仓库中，便于复现与扩展实验。

背景与挑战

背景概述

在大型语言模型（LLM）应用于企业级SQL数据库的自然语言问答领域，现有基准测试如Spider、WikiSQL等虽在通用场景中表现优异，却难以真实反映企业环境的复杂性。为填补这一空白，Juan F. Sequeda、Dean Allemang与Bryon Jacob于2023年11月发布了面向保险领域的Enterprise SQL Schema in the Insurance Domain数据集。该数据集基于OMG财产与意外险数据模型，包含13张表、43个涵盖低至高复杂度的问题，以及由本体和映射构成的上下文层，旨在评估LLM在企业SQL数据库上的问答准确性，并探究知识图谱对精度的提升作用。研究表明，零样本GPT-4在SQL上仅达16.7%的准确率，而借助知识图谱表示则跃升至54.2%，凸显了语义上下文在提升企业级LLM应用可靠性中的关键价值。

当前挑战

该数据集所解决的领域问题核心在于企业级Text-to-SQL任务中LLM的准确率低下，尤其是面对包含大量表、复杂业务指标与关键绩效指标（KPI）的查询时，传统基准测试难以模拟现实场景，导致模型易产生列名幻觉、值幻觉与连接幻觉。构建过程中面临的挑战包括：需设计涵盖低至高问题复杂度与模式复杂度的四象限问题分类体系，确保问题兼具业务报告与战略性指标；同时需构建包含保险领域本体（OWL）与R2RML映射的上下文层，以将SQL模式转化为知识图谱表示，这一过程涉及语义抽象与映射规则的精确性，以及样本数据的生成与验证，以确保参考查询结果的一致性。

常用场景

经典使用场景

在保险领域的企业级SQL数据库环境中，该数据集被广泛应用于评估大语言模型在自然语言问答任务上的准确性。其核心使用场景涵盖从低复杂度的业务报表查询（如按理赔编号、开放日期和关闭日期检索所有理赔信息）到高复杂度的关键绩效指标分析（如计算损失率、平均理赔金额等）。通过将43个精心设计的自然语言问题与OMG财产与意外险数据模型中的13张表相映射，该基准测试能够系统性地考察模型在处理不同模式复杂度和问题复杂度组合时的表现，为理解LLM在企业级数据库问答中的能力边界提供了关键实验框架。

实际应用

在实际产业应用中，该数据集为保险公司及其他拥有复杂SQL数据库的企业提供了一套可复现的评估框架。企业可以借鉴其方法论，利用自身的企业模式、问题和上下文层来测试内部问答系统的准确性。例如，理赔部门可通过自然语言查询快速获取按保单编号分组的平均理赔时间，而精算团队则能计算损失率等关键指标。更重要的是，该研究推动了知识图谱技术在企业数据治理中的落地——企业需将业务上下文（如本体和映射）视为一等公民，通过元数据管理系统或知识图谱架构来管理这些关键信息，从而显著提升LLM驱动决策支持系统的可信度和实用性。

衍生相关工作

该数据集衍生了一系列重要的后续研究工作。在基准增强方面，研究者扩展了上下文层中的映射模式（如条件映射、连接概念映射），并引入更多样化的自然语言问题变体（包括模糊问题、多轮对话和跨语言查询）。在技术方法上，相关工作探索了检索增强生成策略来动态提取模式片段以应对超大上下文窗口限制，并对比了不同提示策略（如少样本学习、思维链）和开源模型（如Llama、NSQL）的表现。此外，部分工作聚焦于部分准确率量化、查询生成成本优化以及可解释性评估，验证了知识图谱在提供业务级语义解释方面的独特优势，为构建可信赖的企业级LLM应用奠定了坚实基础。