BEAVER

BEAVER数据集由麻省理工学院的研究团队创建，旨在评估大型语言模型在企业数据仓库环境中的文本到SQL任务性能。该数据集包含93个自然语言查询及其对应的SQL语句，来源于真实的企业数据仓库，涵盖了复杂的表结构和查询需求。数据集的创建过程包括从实际用户历史中收集SQL语句，并通过匿名化处理确保数据隐私。BEAVER数据集主要用于研究如何改进文本到SQL系统的性能，特别是在处理复杂企业数据时，旨在解决现有公开数据集无法充分反映真实企业环境的问题。

The BEAVER dataset was created by a research team at the Massachusetts Institute of Technology (MIT) to evaluate the text-to-SQL task performance of large language models (LLMs) in enterprise data warehouse environments. This dataset contains 93 natural language queries and their corresponding SQL statements, which are sourced from real enterprise data warehouses and cover complex table schemas and query requirements. The dataset construction process involves collecting SQL statements from actual user historical records and performing anonymization processing to ensure data privacy. The BEAVER dataset is primarily used to research methods for improving the performance of text-to-SQL systems, especially when processing complex enterprise data, aiming to address the issue that existing public datasets cannot fully reflect real enterprise environments.

搜集汇总

数据集介绍

构建方式

BEAVER数据集的构建采用了真实的两个企业数据仓库的数据，并收集了自然语言查询及其对应的正确SQL语句。这些数据来源于实际用户的历史记录，确保了数据的真实性和实用性。数据集中的表信息、列类型和行数据均被收集，并添加了主键和外键关系。SQL语句的收集则来自源组织的日志和报告，并通过替换特定名称和字面量以保持SQL查询的多样性。自然语言问题的构建则由研究生和数据库管理员共同完成，确保了问题的质量和准确性。

特点

BEAVER数据集的特点在于其高度复杂的查询和表结构。相比于公开数据集中的简单表结构，BEAVER数据集中的表具有更多的列和更复杂的查询，需要更多的连接和聚合操作。数据集的查询复杂性在三个维度上都有较高的表现，包括每查询的平均连接数、每查询的平均聚合次数和查询的嵌套深度。这些特点使得BEAVER数据集成为测试和评估文本到SQL任务的理想选择。

使用方法

使用BEAVER数据集时，首先需要理解其数据结构和查询复杂性。数据集包含了表信息、SQL语句和自然语言问题，可以使用这些数据来测试文本到SQL任务的性能。在实验设置中，可以采用检索设置和检索无关设置两种方式。在检索设置中，使用检索系统从数据库中检索与用户问题最相关的表，然后将这些表的模式和用户问题一起作为输入提供给生成式LLM来生成SQL语句。在检索无关设置中，只提供必要的表来构建正确的SQL查询。这两种设置都可以用来评估LLM在生成SQL语句方面的能力。

背景与挑战

背景概述

在自然语言处理领域，文本到SQL的转换任务一直是一个重要的研究方向。现有的文本到SQL数据集大多使用来自网络的公开表格和人工生成的测试，其中包含问题和SQL语句对。这些数据集通常显示出非常好的结果，使人们认为大型语言模型（LLM）在文本到SQL任务上非常有效。然而，这些数据集并不代表现实世界的企业环境。为了解决这一问题，Peter Baile Chen等人提出了一个名为BEAVER的新数据集，该数据集来源于真实的商业数据仓库，包含了自然语言查询及其对应的SQL语句，用于测试任何LLM在文本到SQL任务上的性能。

当前挑战

BEAVER数据集面临的挑战主要包括：1) 公共LLM无法在企业数据仓库上训练，因为这些数据通常位于“暗网”上；2) 企业表的架构比公共数据中的架构更复杂，这使得SQL生成任务本身更具挑战性；3) 商业导向的问题通常更复杂，需要跨多个表的连接和聚合。因此，BEAVER数据集旨在促进未来研究者构建更复杂的文本到SQL系统，使其能够更好地处理这类重要数据。

常用场景

经典使用场景

BEAVER数据集主要用于评估大型语言模型（LLM）在处理企业级数据仓库中自然语言到SQL查询任务的性能。它包含来自真实企业数据仓库的自然语言查询及其对应的SQL语句，旨在模拟现实世界中的企业数据环境。该数据集的使用场景包括但不限于对LLM进行基准测试，以评估其在复杂企业数据库模式和高复杂性查询方面的表现。

实际应用

BEAVER数据集在实际应用中可用于帮助企业构建更高级的文本到SQL系统，以更好地处理复杂的企业级查询。通过对LLM在企业数据上的性能进行评估，企业可以识别出LLM在处理企业级数据时的瓶颈，从而针对性地进行优化和改进。此外，BEAVER数据集还可以用于训练和评估新的LLM模型，以提高它们在企业环境中的表现。

衍生相关工作

BEAVER数据集的提出引发了一系列相关研究，旨在改进LLM在企业环境中的文本到SQL查询任务性能。这些研究包括对LLM进行优化，以更好地处理复杂的企业数据库模式和高复杂性查询；开发新的评估指标，以更准确地衡量LLM在企业环境中的性能；以及探索LLM在企业数据上的泛化能力。这些研究为构建更高级的文本到SQL系统提供了重要的理论基础和实践指导。