allenai/UNcommonsense

UNcommonsense是一个异常推理数据集，专注于解释不寻常、意外和不太可能发生的情况。该数据集包含20k个独特的上下文与不常见的结果配对，并收集了41k个异常推理解释。数据集的字段包括上下文、结果、人类解释、GPT-4生成解释、增强解释和数据来源。

UNcommonsense is an anomalous reasoning dataset focused on explaining unusual, unexpected, and improbable scenarios. It contains 20,000 unique context-uncommon outcome pairs, and includes 41,000 anomalous reasoning explanations. The dataset's fields consist of context, outcome, human-generated explanation, GPT-4 generated explanation, augmented explanation, and data source.

原始信息汇总

数据集卡片 for UNcommonsense

数据集描述

数据集摘要

UNcommonsense 是一个关于溯因推理的数据集。与 aNLG 不同，我们专注于解释不寻常、意外和不太可能的情况。UNcommonsense 是一个英语语料库，包含 20k 个独特的上下文与显式不常见的结局配对。给定这些上下文和不常见的结局，我们通过众包收集了 41k 个溯因解释，这些解释提供了一个合理的解释，说明在给定输入上下文的情况下，一个不常见的结局是如何产生的。

数据字段

• context (string): 描述一个上下文的几句话。
• outcome (string): 从上下文中产生的一个意外结局。
• human_explanations (list of strings): 一系列人类编写的解释，使得在给定上下文的情况下，意外结局变得可能。
• gpt4_explanations (list of strings): 一系列 GPT-4 生成的解释，使得在给定上下文的情况下，意外结局变得可能。
• enhanced_explanations (list of strings): 一系列 GPT-4 增强的人类编写的解释，使得在给定上下文的情况下，意外结局变得可能。
• source (string): 我们从中创建示例的数据集来源。

引用信息

如果您发现此数据集有用，请考虑引用我们的论文：

@article{zhao2023uncommonsense, title={UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations}, author={Zhao, Wenting and Chiu, Justin T and Hwang, Jena D and Brahman, Faeze and Hessel, Jack and Choudhury, Sanjiban and Choi, Yejin and Li, Xiang Lorraine and Suhr, Alane}, journal={arXiv preprint arXiv:2311.08469}, year={2023} }

搜集汇总

数据集介绍

构建方式

在认知科学领域，对非典型情境的推理能力是衡量智能系统灵活性的关键指标。UNcommonsense数据集的构建始于对非常规情境的精心筛选，研究团队从现有语料库中提取了约两万个独特上下文，并为每个上下文配对了一个明确不符合常理的结果。随后，通过众包平台收集了四万一千余条人类撰写的溯因解释，这些解释旨在阐明非常规结果如何在给定上下文中合理发生。为进一步丰富数据，团队还利用GPT-4生成了对应的解释，并对人类解释进行了增强处理，最终形成了包含训练集与验证集的完整语料。

特点

该数据集的核心特征在于其专注于非常规情境的溯因推理，突破了传统常识推理数据集的局限。每个数据样本均包含一个描述性上下文、一个意外结果，以及多组解释——涵盖人类原创、GPT-4生成及增强版人类解释。这种多源解释的并存为研究提供了丰富的对比视角，能够支持对模型推理一致性、创造性与可解释性的深入分析。数据规模适中，约一万六千个训练样本与两千余个验证样本，确保了研究的可行性与深度。

使用方法

使用UNcommonsense数据集时，研究者可将其应用于自然语言生成与推理任务的模型训练与评估。典型流程包括加载数据分割、提取上下文与结果字段作为输入，并以人类解释或增强解释作为目标输出，进行序列到序列的建模。对于溯因推理研究，可对比分析模型生成解释与数据集中多类解释的相似度与合理性。数据集以标准JSON格式存储，通过HuggingFace库可直接访问，支持灵活的数据预处理与实验设计，适用于各类机器学习框架。

背景与挑战

背景概述

在人工智能的推理研究领域，常识推理长期聚焦于典型情境下的逻辑推演，然而现实世界往往充斥着反常与意外。为弥补这一研究空白，艾伦人工智能研究所于2023年推出了UNcommonsense数据集，由Wenting Zhao等学者主导构建。该数据集的核心研究问题在于探索非常规情境下的溯因推理能力，即如何为看似不可能的结果提供合理解释。通过收集两万余个独特语境与非常规结果的配对，并辅以四万余条人类与模型生成的解释，该数据集显著推动了机器对复杂、反常现象的理解与解释能力，为推理模型的泛化性与鲁棒性评估提供了关键基准。

当前挑战

UNcommonsense数据集所针对的领域挑战在于突破传统常识推理的局限，要求模型在反常、低概率的情境中进行创造性溯因，这超越了基于统计规律的模式匹配，对模型的深层语义理解与逻辑构建能力提出了更高要求。在构建过程中，研究团队面临双重挑战：一是如何高效收集并验证大量高质量、多样化的非常规情境数据，确保其真实性与解释的合理性；二是需平衡人类标注与自动化生成（如GPT-4）的解释质量，以建立可靠的多源解释体系，为模型训练与评估提供坚实支撑。

常用场景

经典使用场景

在自然语言处理领域，UNcommonsense数据集为非常规情境下的溯因推理研究提供了关键资源。该数据集通过呈现大量描述意外结果的上下文，要求模型生成合理的解释，以弥合情境与反常结论之间的逻辑鸿沟。这一设计使得研究者能够评估和提升模型在复杂、非典型场景下的推理能力，尤其适用于测试模型对常识边界的理解与拓展。

衍生相关工作

围绕UNcommonsense数据集，已衍生出一系列探索非常规推理的前沿研究。相关工作主要集中在利用该数据集训练或评估大型语言模型在溯因任务上的表现，例如研究GPT-4等模型生成解释的质量与人类解释的差异。这些工作不仅验证了数据集的挑战性，也推动了模型在理解语境、进行创造性联想方面的算法改进，为后续在可解释人工智能、叙事生成等领域的应用提供了方法论参考。

数据集最近研究

最新研究方向

在常识推理领域，UNcommonsense数据集的推出标志着研究焦点从常规情境向非常规情境的转移。该数据集专注于异常、意外及低概率事件的溯因推理，为探索模型在复杂现实场景中的解释能力提供了关键资源。当前前沿研究围绕大语言模型在非常规情境下的推理机制展开，结合人类与GPT-4生成的解释数据，推动可解释人工智能的发展。热点事件包括利用该数据集评估模型在医疗诊断、突发事件分析等高风险领域的泛化能力，其影响在于突破了传统常识推理的局限性，为构建更稳健、更具创造性的AI系统奠定了数据基础。