nlp-mark/what-breaks

这是一个多规模配置的知识库问答数据集，包含从10万到750百万不等的样本量配置。数据集特征包括：模板ID、问题类别、时序类型、自然语言问题、实体名称、实体ID、答案列表、答案实体ID列表，以及类别和时序类型的解释字段。所有数据仅包含测试集划分，适用于问答系统、实体链接和时序推理等NLP任务的评估。A multi-scale knowledge base question answering dataset with configurations ranging from 100K to 750M samples. Features include template ID, question category, temporal type, natural language question, entity name, entity ID, answer list, answer entity ID list, along with explanatory fields for category and temporal type. All data is provided in test split only, suitable for evaluation of QA systems, entity linking, and temporal reasoning tasks.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，评估模型对实体与时间相关知识的掌握程度是知识图谱补全与问答系统研究的核心挑战之一。what-breaks数据集正是为此而生，它通过系统化的模板生成机制，构建了一个大规模、多粒度的知识评测基准。数据集包含从100K到5M等多个配置版本，每个版本均采用统一的特征架构，涵盖模板ID、类别、时间类型、问题文本、目标实体及其ID、答案集合、答案实体ID、类别解释、时间解释以及截断标志等字段。所有数据均以测试集形式提供，便于研究者直接用于模型性能的横向对比与深度分析。

特点

该数据集的核心特点在于其精细化的多维标注体系与灵活的规模可扩展性。每条数据不仅包含了自然语言问题与对应答案，更附带了类别解释与时间解释字段，使得模型推理过程的可解释性评估成为可能。数据集覆盖了多种类别与时间类型，能够全面检验模型在不同知识维度上的鲁棒性。此外，从10万到5亿级别的样本量递进设计，为从轻量级原型验证到大规模预训练模型评测提供了理想的数据支撑，尤其适合研究模型规模与知识记忆能力的关联规律。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集，并根据需求选择特定的配置版本，如'100K'或'5M'。加载后，数据以字典形式组织，每条样本包含question、entity、answers等关键字段，可直接用于提示构造或微调输入。由于数据已预分为测试集，用户无需额外划分，即可直接评估模型在下游任务上的表现。建议结合类别解释与时间解释字段进行错误分析，深入探究模型在时间推理与知识分类上的失败模式，从而指导模型架构或训练策略的优化。

背景与挑战

背景概述

在大规模语言模型蓬勃发展的浪潮中，模型对复杂指令的遵循能力与对知识边界的认知成为评估其性能的核心维度。what-breaks数据集由研究者精心构建，旨在系统性地探索并量化语言模型在多领域、多粒度问答任务中的失效边界。该数据集覆盖从100K到5M乃至默认规模的多种配置，集合了超过7.5亿样本，每个样本包含模板标识、类别、时间类型、问题、实体及其ID、答案与答案实体ID等丰富字段，为深入剖析模型在不同规模与复杂度下的表现提供了坚实基础。自发布以来，该数据集已成为评估和提升语言模型鲁棒性与泛化能力的关键基准，对理解模型在现实应用中的局限性具有深远影响。

当前挑战

该数据集所应对的核心领域挑战在于，现有语言模型在回答涉及特定实体、时间敏感或跨类别知识的问题时，常表现出不可预测的失效模式，如生成与事实相悖的答案或对指令理解产生偏差。构建过程中，研究者需克服多重困难：如何设计多样且具代表性的模板以覆盖广泛的知识类别与时间类型，如何确保实体与答案的准确对应以避免数据噪声，以及如何处理大规模数据中的截断与标注一致性。此外，数据集的多规模版本要求平衡样本丰富性与计算效率，同时保证不同配置间的可比性，从而为模型失效分析提供可靠的实验基础。

常用场景

经典使用场景

在自然语言处理与知识图谱的交叉领域中，what-breaks数据集被广泛用于评估和挑战大语言模型在多实体、多时间维度问答任务上的鲁棒性。其数据包含模板化问题、实体及其时间属性，经典使用场景聚焦于检测模型在面对复杂时间逻辑、实体关系变化或信息冲突时的推理能力。研究者通常利用该数据集的多种规模配置（如100K至5M样本），系统性地测试模型在处理“何时”、“何物”等时序查询时的性能瓶颈，从而揭示模型在时间常识推理与事实一致性维护方面的薄弱环节。

解决学术问题

该数据集直击当前大语言模型研究中的一个关键盲点：模型在静态知识记忆上的卓越表现掩盖了其在动态时间知识推理上的能力缺失。what-breaks通过精心设计的时间敏感型问答对，系统性地暴露了模型在实体时间属性变更、不同时间粒度的矛盾回答、以及跨时间点实体关系推断等学术问题上的局限性。其贡献在于为自然语言处理社区提供了一个标准化的压力测试基准，促使研究者重新审视模型的知识表示与更新时间机制，推动了时序知识图谱增强、检索增强生成以及时间感知模型微调等方向的理论突破与实证研究。

衍生相关工作

what-breaks数据集衍生出一系列影响深远的研究工作，其中最经典的方向包括时间感知型大语言模型的微调策略开发、基于检索的时序知识注入框架设计，以及针对时间推理能力的对抗训练方法探索。例如，部分研究基于该数据集构建了时间性孪生网络，通过对比不同时间点的实体表示来增强模型的时序区分力；另一些工作则以此为基准，提出了动态知识图谱与语言模型联合训练的新范式，本质上将模型的时间推理错误转化为可优化的结构化损失函数。这些衍生工作共同推动了下一代具备时间常识的对话智能体的发展，使机器在理解时间语义上迈出了重要一步。