google-research-datasets/cfq

Compositional Freebase Questions (CFQ) 是一个专门设计用于测量组合泛化能力的数据集。它包含大量的自然语言问题及其对应的SPARQL查询，适用于语义解析任务。数据集为单语种（英语），包含多个配置和分割，每个配置和分割都有详细的下载和生成数据集大小信息。

Compositional Freebase Questions (CFQ) is a dataset specifically designed to measure compositional generalization capabilities. It contains a substantial number of natural language questions paired with their corresponding SPARQL queries, suitable for semantic parsing tasks. This dataset is monolingual (English), and includes multiple configurations and data splits, with detailed information regarding download access and dataset size for each configuration and split.

原始信息汇总

数据集概述

数据集描述

• 数据集名称: Compositional Freebase Questions (CFQ)
• 数据集摘要: CFQ 是一个专门设计来衡量组合泛化能力的自然语言问答数据集。每个问题都对应一个针对 Freebase 知识库的 SPARQL 查询，因此也可用于语义解析。
• 支持的任务和排行榜:
  • 问答
  • 其他
• 语言: 英语 (en)
• 许可证: CC-BY-4.0

数据集结构

数据实例

mcd1

• 下载的数据文件大小: 267.60 MB
• 生成的数据集大小: 42.90 MB
• 总磁盘使用量: 310.49 MB

训练集示例: json { "query": "SELECT count(*) WHERE { ?x0 a ns:people.person . ?x0 ns:influence.influence_node.influenced M1 . ?x0 ns:influence.influence_node.influenced M2 . ?x0 ns:people.person.spouse_s/ns:people.marriage.spouse|ns:fictional_universe.fictional_character.married_to/ns:fictional_universe.marriage_of_fictional_characters.spouses ?x1 . ?x1 a ns:film.cinematographer . FILTER ( ?x0 != ?x1 ) }", "question": "Did a person marry a cinematographer , influence M1 , and influence M2" }

mcd2

• 下载的数据文件大小: 267.60 MB
• 生成的数据集大小: 44.77 MB
• 总磁盘使用量: 312.38 MB

训练集示例: json { "query": "SELECT count(*) WHERE { ?x0 ns:people.person.parents|ns:fictional_universe.fictional_character.parents|ns:organization.organization.parent/ns:organization.organization_relationship.parent ?x1 . ?x1 a ns:people.person . M1 ns:business.employer.employees/ns:business.employment_tenure.person ?x0 . M1 ns:business.employer.employees/ns:business.employment_tenure.person M2 . M1 ns:business.employer.employees/ns:business.employment_tenure.person M3 . M1 ns:business.employer.employees/ns:business.employment_tenure.person M4 . M5 ns:business.employer.employees/ns:business.employment_tenure.person ?x0 . M5 ns:business.employer.employees/ns:business.employment_tenure.person M2 . M5 ns:business.employer.employees/ns:business.employment_tenure.person M3 . M5 ns:business.employer.employees/ns:business.employment_tenure.person M4 }", "question": "Did M1 and M5 employ M2 , M3 , and M4 and employ a person s child" }

mcd3

• 下载的数据文件大小: 267.60 MB
• 生成的数据集大小: 43.60 MB
• 总磁盘使用量: 311.20 MB

训练集示例: json { "query": "SELECT /producer M0 . /director M0 . ", "question": "Who produced and directed M0?" }

数据字段

所有分割和配置中的数据字段相同:

• question: 字符串类型
• query: 字符串类型

数据分割

名称	训练集	测试集
mcd1	95743	11968
mcd2	95743	11968
mcd3	95743	11968
query_complexity_split	100654	9512
query_pattern_split	94600	12589
question_complexity_split	98999	10340
question_pattern_split	95654	11909
random_split	95744	11967

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，评估模型组合泛化能力的需求日益凸显。CFQ数据集通过专家生成的方式构建，其核心在于利用Freebase知识库作为语义基础，精心设计自然语言问题与对应的SPARQL查询对。构建过程强调组合性，通过系统化的方法生成大量问题-查询实例，确保数据在语法结构和语义组合上的多样性与复杂性，从而为衡量模型能否理解并组合未见过的元素提供了坚实基础。

特点

该数据集以其对组合泛化的专注而著称，提供了超过十万个高质量的英文问题-查询对。其显著特点在于包含多种精心设计的划分配置，如基于查询复杂度、模式以及随机划分等，这些划分旨在从不同角度挑战模型的组合推理能力。每个数据实例均由自然语言问题及其对应的结构化SPARQL查询组成，这种配对形式使其不仅能用于问答任务，也能服务于语义解析研究，兼具现实性与评估深度。

使用方法

研究人员可通过HuggingFace平台便捷加载CFQ数据集的不同配置。典型应用是将其作为基准，训练和评估模型在组合泛化任务上的性能。使用时，需根据研究目标选择合适的划分（如mcd1、query_complexity_split等），利用训练集进行模型学习，并在对应的测试集上验证模型对新颖组合的泛化能力。该数据集直接支持自然语言到SPARQL查询的转换任务，是推进语义理解和组合推理研究的关键工具。

背景与挑战

背景概述

在自然语言处理领域，组合泛化能力是衡量模型理解与生成能力的关键指标。谷歌研究院于2020年提出的组合式Freebase问答数据集，旨在系统评估模型对未见组合结构的泛化性能。该数据集基于Freebase知识库，通过专家生成方式构建了大规模的自然语言问题与对应SPARQL查询对，为语义解析和问答系统研究提供了重要基准。其创新的数据划分策略，如最大复合差异分割，深刻影响了后续组合泛化研究的方法论发展。

当前挑战

该数据集致力于解决语义解析中的组合泛化挑战，即模型在面对训练时未出现过的词汇组合结构时，能否保持准确的理解与推理能力。构建过程中的核心挑战在于如何系统性地生成具有高度组合复杂度且保持语义合理性的问题-查询对，同时确保数据分割能有效隔离组合模式，避免模型通过表面特征进行记忆。此外，基于Freebase知识库的查询生成需精确映射自然语言到结构化查询，这对逻辑一致性与语言多样性提出了双重考验。

常用场景

经典使用场景

在自然语言处理领域，组合泛化能力是衡量模型智能水平的关键维度。CFQ数据集通过提供大量自然语言问题及其对应的SPARQL查询，成为评估语义解析模型组合泛化性能的基准工具。其精心设计的多种分割方式，如最大复合度偏离分割，能够系统检验模型对未见过的复合结构的理解能力，为研究组合性提供了标准化实验环境。

衍生相关工作

围绕CFQ数据集，学术界衍生出一系列探索组合泛化的经典研究。例如，基于此数据集的基准测试催生了众多改进模型架构与训练范式的工作，如利用语法感知的编码器或元学习策略来提升泛化性能。这些研究不仅深化了对神经网络组合性本质的理解，也为构建更具通用性的人工智能系统提供了方法论指导。

数据集最近研究

最新研究方向

在自然语言处理领域，组合泛化能力被视为实现人类水平语言理解的关键挑战之一。CFQ数据集以其精心设计的组合性问题和对应的SPARQL查询，为评估模型在语义解析任务中的组合泛化性能提供了标准基准。当前研究前沿聚焦于探索大型预训练语言模型在CFQ上的表现，特别是针对其多种分割配置（如MCD和复杂度分割）下的系统性泛化能力。这些研究不仅揭示了现有模型在组合结构理解上的局限性，也推动了如神经符号集成、元学习等新方法的兴起，旨在提升模型对未见组合模式的适应力。该数据集的影响延伸至知识图谱问答、对话系统等实际应用，为构建更可靠、可解释的AI系统奠定了重要基础。