ACCESS

ACCESS是一个面向抽象因果事件发现和推理的基准数据集，由澳大利亚莫纳什大学的研究团队开发。该数据集关注于日常生活中事件的因果性，在抽象层面上构建因果图模型，包含725个事件抽象，覆盖了9513个故事中的4708个事件。数据集通过两阶段构建：第一阶段提取事件抽象，第二阶段确定这些抽象之间的因果关系。

ACCESS is a benchmark dataset for abstract causal event discovery and reasoning, developed by the research team from Monash University in Australia. This dataset focuses on the causality of everyday events, constructs causal graph models at the abstract level, and contains 725 event abstractions, covering 4708 events across 9513 stories. The dataset is constructed in two stages: the first stage extracts event abstractions, and the second stage determines the causal relationships between these abstractions.

搜集汇总

数据集介绍

构建方式

ACCESS 数据集的构建基于日常生活中的事件，旨在探索事件因果性在抽象层面上的表示。该数据集从 GLUCOSE 数据集中提取事件提及，并使用自动化的相关聚类算法和人工标注相结合的方式，从这些提及中提取事件抽象。随后，通过结合 GLUCOSE 中的注释关系和统计因果发现方法，识别事件抽象之间的因果关系。最后，将得到的因果关系构建成因果图，形成最终的数据集。

特点

ACCESS 数据集具有以下特点：首先，它专注于日常生活中的事件因果性，提供了一种更高效的抽象知识表示。其次，数据集包含 725 个事件抽象和 1,494 个因果对，每个抽象平均包含 7 个实例，并与 9,513 个故事相关联。此外，数据集还包含多种因果结构，如混杂、中介和碰撞，为因果推理提供了丰富的资源。最后，数据集还提供了人工标注的质量控制，确保事件抽象和因果关系的准确性。

使用方法

使用 ACCESS 数据集的方法包括：1. 评估自动事件抽象和因果发现方法的有效性。2. 研究因果图如何辅助模型在因果问答任务中的推理。具体来说，可以使用 LLMs 生成事件抽象，并通过与 ACCESS 数据集中的事件抽象进行比较来评估抽象的质量。此外，可以使用 ACCESS 中的因果图来辅助模型在因果问答任务中进行推理，从而提高模型的性能。

背景与挑战

背景概述

在自然语言处理（NLP）领域中，识别事件之间的因果关系对于理解现实世界的动态变化和进行因果推理至关重要。然而，现有的NLP方法在识别事件因果关系方面存在困难，尤其是在处理分布外设置时。这些方法主要依赖于大型语言模型（LLMs）和词汇线索，而现有的基准数据集规模有限，难以满足实际需求。为了解决这一问题，ACCESS数据集应运而生。ACCESS是由Monash大学的研究人员开发的一个用于抽象因果事件发现和推理的基准数据集，旨在探索日常生活中事件的抽象因果关系。该数据集从GLUCOSE数据集中提取了1,4K个因果对，并通过统计方法和LLMs进行了自动抽象识别和因果发现实验。这些实验揭示了使用统计方法和LLMs进行自动抽象识别和因果发现的挑战，同时也证明了抽象因果知识在增强LLMs的问答推理性能方面的潜力。

当前挑战

ACCESS数据集在抽象因果事件发现和推理方面面临以下挑战：1）统计结构学习算法在完整图发现方面的应用仍然具有高度挑战性；2）仅依靠LLMs和自动聚类不足以进行充分的事件抽象；3）LLMs在成对非上下文因果发现方面仍然存在困难，这表明它们缺乏完整的常识因果知识。此外，统计结构学习方法在构建因果图方面也存在挑战，例如，现有方法的表示能力有限，难以捕捉抽象事件的因果知识。

常用场景

经典使用场景

ACCESS数据集主要被用于抽象因果事件发现和推理。该数据集包含了725个事件抽象和1494个因果对，提供了一个图形模型来表示事件之间的因果关系。这为自然语言处理（NLP）中的因果推理提供了宝贵的数据资源。

实际应用

ACCESS数据集的实际应用场景包括增强LLM在问答（QA）推理任务中的性能。实验表明，通过将ACCESS数据集中的抽象因果知识整合到LLM中，可以在QA推理任务中提高性能，尤其是在抽象QA任务中。此外，ACCESS数据集还可以用于评估和改进现有的因果推理方法，以及开发新的因果推理模型。

衍生相关工作

ACCESS数据集的引入衍生了多项相关工作，包括对抽象事件识别和因果发现算法的研究，以及对LLM在因果推理方面的能力评估。此外，ACCESS数据集的构建方法和评估指标也为其他领域的类似研究提供了参考。