Octopus Benchmark

Octopus Benchmark是由康奈尔大学团队构建的面向多表数据发现的评估基准，包含5个支持独立表回答的异构数据集和2个需要表连接操作的复杂场景数据集。该基准创新性地同时提供表级和单元格级标注，支持细粒度检索精度评估，数据来源涵盖真实世界的数据湖和云存储系统。通过轻量化的列头嵌入索引设计，该数据集可高效支持自然语言查询到多表联合检索的端到端验证，主要应用于智能数据发现、NL2SQL优化等数据库前沿领域。The Octopus Benchmark is an evaluation benchmark for multi-table data discovery, developed by a research team from Cornell University. It includes 5 heterogeneous datasets that support single-table query answering, and 2 complex scenario datasets that require table join operations. Innovatively, this benchmark provides both table-level and cell-level annotations, enabling fine-grained retrieval accuracy evaluation. Its data sources are derived from real-world data lakes and cloud storage systems. With a lightweight column header embedding index design, this benchmark can efficiently support end-to-end validation of natural language queries for multi-table joint retrieval. It is mainly applied in cutting-edge database research fields such as intelligent data discovery and NL2SQL optimization.

原始信息汇总

Octopus数据集概述

数据集基本信息

• 数据集名称：Octopus
• 核心内容：与论文《Octopus: A Lightweight Entity-Aware System for Multi-Table Data Discovery and Cell-Level Retrieval》相关的源代码。

数据集结构与内容

• 主要组成部分：源代码。
• 关联模块：
  1. 基准测试生成器：位于benchmark_generator/目录下。
  2. 实验：位于experiments/目录下。

环境配置要求

• Python版本：3.12.2
• 依赖安装：通过requirements.txt文件安装所有必需的包。

搜集汇总

数据集介绍

构建方式

在数据湖与异构表格数据日益增长的背景下，Octopus Benchmark的构建旨在系统评估多表格数据发现与单元格级检索能力。该基准包含独立发现与连接发现两大场景，共涵盖七个数据集。独立发现部分基于Pneuma等现有工作，通过重新执行完整的SQL查询并保留至少返回一个非空结果的查询，确保每个问题均有有效的表格级与单元格级真实标注。连接发现部分则从Spider与Bird等NL2SQL基准中筛选出涉及显式JOIN操作且连接结构非平凡的查询，形成需要多表格联合推理的问题集合。整个构建过程强调语义完整性与评估粒度，为多表格环境下的细粒度检索提供了可靠的实验基础。

使用方法

使用Octopus Benchmark时，研究者通常将其作为评估表格数据发现与检索系统性能的标准测试集。在独立发现场景下，系统需要针对自然语言问题，从表格集合中检索出所有能够独立提供答案的表格，并进一步提取出具体的单元格值作为最终输出。评估指标包括表格级的宏平均精确率、召回率与F1分数，以及单元格级的相同度量。在连接发现场景下，系统需识别出通过连接操作才能共同回答问题的一组表格，评估则采用命中率（Hit@K）来衡量正确表格组在检索结果中的排名。基准的使用促进了轻量级、实体感知的检索方法与多表格推理技术的比较与发展。

背景与挑战

背景概述

在数据湖与大规模表格数据仓库日益普及的背景下，如何从海量异构表格中精准定位并检索出能够回答用户自然语言问题的相关信息，成为数据发现领域的关键挑战。Octopus Benchmark 由康奈尔大学的研究人员 Wen-Zhi Li 和 Sainyam Galhotra 于2026年提出，旨在系统评估多表格场景下的数据发现与单元格级检索能力。该基准的核心研究问题在于突破传统单表格检索的局限，构建一个能够同时支持多表格独立发现与多表格连接发现的统一评估框架，从而更真实地反映实际数据探索中信息分散于多个表格的复杂场景。其影响力在于为轻量级、实体感知的数据发现系统提供了首个专注于多表格与细粒度检索的标准化测试集，推动了该领域从单一表格匹配向跨表格语义关联与精确值检索的范式转变。

当前挑战

Octopus Benchmark 所针对的领域挑战在于解决多表格数据发现与单元格级检索这一复杂问题。传统数据发现系统通常假设每个问题仅由单个表格回答，且依赖资源密集型的离线预处理，如大规模内容索引或模型训练。然而，现实中的查询往往需要跨多个表格（独立或通过连接）的信息聚合，并且用户常寻求具体的单元格值而非整张表格。这要求系统具备同时处理多表格语义关联与细粒度值定位的能力。在构建过程中，基准面临的主要挑战包括：如何从现有单表格基准（如Pneuma、Spider、Bird）中筛选和重构出真正需要多表格参与的问题，避免虚假的正例或负例；如何为每个问题同时标注表格级和单元格级的真实答案，确保评估的细粒度与准确性；以及如何设计涵盖不同领域（如商业智能、开放政府数据、生物化学）和不同数据规模的数据集，以保证基准的多样性与普适性。

常用场景

经典使用场景

在数据湖与异构表格库的背景下，Octopus Benchmark 为多表格数据发现与单元格级检索任务提供了标准化评估框架。该数据集通过构建独立发现与连接发现两类场景，模拟了现实世界中用户通过自然语言查询从海量表格中定位相关信息的需求。其经典使用场景包括评估系统在复杂查询下的表格检索精度，例如当问题需要跨多个独立表格或通过连接操作组合表格才能回答时，系统需准确识别所有相关表格并定位到具体的单元格数值。

解决学术问题

Octopus Benchmark 主要解决了表格数据发现领域中的几个核心学术问题。传统研究多假设查询可由单一表格回答，忽视了多表格独立或连接场景的普遍性；同时，现有工作往往只关注表格级检索，缺乏对单元格级答案的细粒度评估。该数据集通过提供表格级与单元格级双重标注，支持对多表格、细粒度检索系统的全面评测，推动了数据发现任务从单一表格向多表格、从粗粒度向细粒度的范式演进。其意义在于为轻量级、实体感知的检索方法提供了可靠的基准，促进了高效且可扩展的数据发现技术发展。

实际应用

在实际应用层面，Octopus Benchmark 所针对的场景广泛存在于企业数据管理、开放数据平台与商业智能分析中。例如，在大型数据仓库中，分析师常通过自然语言提问来探索销售、库存或用户行为数据，这些问题可能涉及多个部门的独立报表或需要连接产品与订单表才能得出答案。该数据集支撑的系统能够直接返回具体的销售额或用户统计等单元格数值，而非整张表格，极大提升了数据查询的效率和精确性。这种能力对于降低数据分析门槛、实现即时决策支持具有重要价值。

数据集最近研究

最新研究方向

在数据湖与异构表格数据管理领域，Octopus Benchmark的推出标志着多表格与细粒度数据发现研究进入新阶段。该数据集聚焦于解决传统单表格检索的局限性，通过构建涵盖独立多表格与连接多表格场景的基准，推动实体感知、轻量级索引与免训练检索系统的发展。前沿研究围绕大语言模型驱动的实体解析、列与值粒度的语义对齐、以及跨表格连接推理展开，显著提升了在复杂查询下表格与单元格检索的准确性与效率。这一进展不仅优化了自然语言到SQL的转换流程，降低了计算与令牌开销，也为大规模数据仓库中的智能数据发现与集成提供了可靠评估框架，对推动数据管理自动化与增强用户交互体验具有深远影响。

相关研究论文

• Octopus: A Lightweight Entity-Aware System for Multi-Table Data Discovery and Cell-Level Retrieval

  康奈尔大学 · 2026年