CREAK

CREAK是一个旨在评估自然语言处理模型在实体理解和常识推理方面能力的数据集。该数据集由德克萨斯大学奥斯汀分校的研究人员创建，包含13,000个人工编写的关于实体的英语陈述，这些陈述被标记为真或假。数据集的创建过程涉及众包工作者基于维基百科实体生成陈述，鼓励从零开始创造性编写，以确保陈述结合了实体知识和常识。CREAK数据集的应用领域包括测试模型对实体知识的检索能力和未明确说明的常识知识，旨在解决模型在处理涉及实体的常识推理时的挑战。

CREAK is a dataset aimed at evaluating the capabilities of natural language processing models in entity understanding and commonsense reasoning. Developed by researchers at The University of Texas at Austin, it contains 13,000 manually written English statements about entities, each labeled as either true or false. During the dataset construction process, crowdworkers generate statements based on Wikipedia entities and are encouraged to conduct creative writing from scratch to ensure that the statements integrate both entity-specific knowledge and commonsense knowledge. Application areas of the CREAK dataset include testing models' abilities to retrieve entity knowledge and utilize unstated commonsense knowledge, with the goal of tackling the challenges faced by models when handling commonsense reasoning tasks involving entities.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，常识推理与实体知识的融合一直是研究的前沿挑战。为填补这一空白，CREAK数据集应运而生，旨在评估模型对实体相关常识的推理能力。该数据集通过亚马逊土耳其机器人平台众包构建，标注者基于给定的维基百科实体（涵盖命名实体、普通名词及抽象概念）自由创作英文陈述句，并标注真伪。为确保数据质量，研究团队要求标注者同时撰写理由说明，并严格限制每位标注者的贡献比例（不超过任一数据分区的7%）。训练集与评估集采用互不重叠的标注者群体及实体集合，以避免偏差。最终，经过人工筛选与清洗，数据集包含约13,000条陈述，覆盖2,700余个实体，并额外设计了200条专家撰写的对比样本（通过最小化修改改变真假标签）。

特点

CREAK数据集的核心特质在于其深度交织实体知识与常识推理的独特设计。与现有事实核查基准（如FEVER）中多数依赖简单检索的陈述不同，CREAK中约54%的样本需要同时运用实体事实检索与常识推理（例如判断“从拉霍亚驾车到纽约市需时不足两小时”的真伪）。此外，数据集在词汇层面展现出较低的伪相关性——仅有14个词汇（如“many”、“several”）与标签存在显著关联，远低于FEVER的28个。训练动态分析进一步揭示，CREAK样本的难度分布更为均匀，模型在不同样本上的置信度与正确率波动较大，这反映了其内在的推理复杂性。实体类型（如人物、组织）对模型表现的影响显著高于实体流行度，凸显了知识类型的多样性挑战。

使用方法

CREAK被设计为闭卷场景下的二元分类任务，即模型仅凭陈述文本判断真伪，无需外部检索。研究者可采用预训练语言模型（如RoBERTa、T5）作为基线，在训练集上微调后评估其在开发集、测试集及对比集上的准确率。实验表明，直接使用FEVER等现有数据集训练的模型在CREAK上表现不佳（最高仅70%准确率），而基于CREAK训练则能显著提升效果（T5-3B达85.6%）。此外，研究者可通过移除实体名称或引入维基百科检索（如DPR）进行消融实验，以验证实体知识与外部信息的重要性。数据集官方代码与数据已公开，支持复现与扩展研究。

背景与挑战

背景概述

在自然语言处理领域，常识推理一直是衡量模型对世界理解能力的关键维度。然而，已有基准数据集如CommonsenseQA和Social IQa主要聚焦于物理世界或社会交互中的日常场景，缺乏对特定实体知识锚定的常识推理能力的系统评估。为填补这一空白，德克萨斯大学奥斯汀分校的Yasumasa Onoe、Michael J.Q. Zhang、Eunsol Choi和Greg Durrett于2021年提出了CREAK数据集，旨在将实体知识与常识推理相融合，检验模型在无需外部检索的封闭环境下对实体相关陈述的真假判断能力。该数据集包含约1.3万条由众包工人基于维基百科实体编写的英文陈述，覆盖了超过2700个实体，其独特之处在于要求模型不仅具备事实检索能力，还需进行隐含的常识推理，从而为自然语言理解模型提供更全面的评估基准。

当前挑战

CREAK数据集所面临的挑战体现在两个层面。在领域问题层面，它要求模型同时具备实体知识存储与常识推理能力，例如判断“哈利·波特可以教授如何骑扫帚飞行”这类融合事实与常识的陈述，现有模型在封闭书设置下表现显著低于人类，即使经过微调，最大模型与人类准确率仍有约10个百分点的差距。在构建过程层面，众包生成的陈述容易引入数据伪影，例如某些词汇（如“not”、“only”）与标签存在虚假相关性，尽管通过统计检验发现CREAK的伪影数量少于FEVER等数据集，但仍有14个词汇具有显著偏差。此外，为确保质量，研究团队手动过滤了约18%的众包陈述，并构建了200条对比样本以增强评估的鲁棒性，这一过程对人力投入和标注一致性提出了较高要求。

常用场景

经典使用场景

在自然语言处理领域，常识推理与实体知识的融合一直是极具挑战性的课题。CREAK数据集应运而生，旨在填补现有基准测试中实体锚定常识推理的空白。其经典使用场景聚焦于封闭书设定下的二元真伪判断任务：给定一句关于特定实体（如哈利·波特）的陈述，模型需在不借助外部检索的前提下，结合实体知识与常识推理，判定该陈述的真伪。这一场景不仅检验了模型对实体事实的掌握程度，更深入考察了其将碎片化知识转化为合理推断的能力，为评估语言模型的综合理解力提供了独特且严苛的测试平台。

衍生相关工作

CREAK数据集的诞生催生了一系列富有启发性的衍生工作。在方法论层面，研究者借鉴其任务设计，探索了如何更有效地将实体知识注入预训练语言模型，例如通过实体专家模块或可解释实体嵌入来增强模型的事实检索与常识推理能力。在基准测试方面，CREAK与StrategyQA等数据集形成了互补，共同推动了实体锚定推理的评估体系完善。此外，基于CREAK的训练动态分析，学者们深入研究了数据集伪像对模型泛化能力的影响，并开发了更精细的数据筛选与对比集构建技术，这些工作共同丰富了自然语言理解领域中关于知识整合与推理鲁棒性的研究脉络。

数据集最近研究

最新研究方向

CREAK数据集聚焦于实体常识推理这一前沿方向，旨在弥合事实核查与常识推断之间的鸿沟。在自然语言处理领域，尽管大规模预训练模型在诸多任务上表现卓越，但面对结合实体知识与常识的复合推理时仍显乏力。该数据集通过构建1.3万条需同时依赖实体背景（如“哈利·波特是巫师”）与隐含常识（如“擅长某项技能即可教授他人”）的二元真假声明，精准揭示了当前模型在开放域封闭书设置下的能力边界。研究热潮中，CREAK不仅成为检验模型是否真正理解实体语义的试金石，更推动了将外部知识注入推理过程的技术演进，其与策略推理、对抗性过滤等热点方向的交叉，为构建更鲁棒、更接近人类认知水平的语言系统提供了关键基准。

相关研究论文

• CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge

  德克萨斯大学奥斯汀分校 · 2021年