sxu/RaVE_emnlp23

VECHR数据集是一个专注于法律自然语言处理（NLP）中案例结果分类（COC）的研究数据集，特别是研究专家之间在案例事实评估上的分歧。数据集RaVE（Rationale Variation in ECHR）由两位国际人权法领域的专家提供，观察到他们之间的弱一致性。研究这些分歧并构建了一个两级任务无关的分类法，补充了COC特定的子类别。这是法律NLP中首次关注人类标签变化的工作。研究还评估了不同分类法类别，发现分歧主要源于法律上下文的不明确，这对COC元数据的通常有限粒度和噪声提出了挑战。此外，还评估了最先进的COC模型在RaVE上的可解释性，观察到模型与专家之间的一致性有限。VECHR数据集是一个专注于法律自然语言处理（NLP）中案例结果分类（COC）的研究数据集，特别是研究专家之间在案例事实评估上的分歧。数据集RaVE（Rationale Variation in ECHR）由两位国际人权法领域的专家提供，观察到他们之间的弱一致性。研究这些分歧并构建了一个两级任务无关的分类法，补充了COC特定的子类别。这是法律NLP中首次关注人类标签变化的工作。研究还评估了不同分类法类别，发现分歧主要源于法律上下文的不明确，这对COC元数据的通常有限粒度和噪声提出了挑战。此外，还评估了最先进的COC模型在RaVE上的可解释性，观察到模型与专家之间的一致性有限。

原始信息汇总

数据集卡片 VECHR

数据集概述

在法律自然语言处理（NLP）中，案件结果分类（COC）不仅需要准确，还需要可信和可解释。现有的可解释COC工作仅限于单一专家的标注。然而，众所周知，律师在评估案件事实时可能存在分歧。因此，我们收集了一个新的数据集RaVE：欧洲人权法院的论证变化，该数据集由国际人权法领域的两位专家提供，我们观察到他们之间的弱一致性。我们研究了他们的分歧，并构建了一个两级任务独立分类法，辅以COC特定的子类别。据我们所知，这是法律NLP中首次关注人类标签变化的工作。我们定量评估了不同分类法类别，发现分歧主要源于法律背景的未明确说明，这在COC元数据通常粒度有限且存在噪声的情况下提出了挑战。我们进一步评估了最先进的COC模型在RaVE上的可解释性，并观察到模型与专家之间的一致性有限。总的来说，我们的案例研究揭示了在创建法律NLP基准数据集时围绕识别案件事实中被认为与其结果相关的方面的先前未被充分认识的复杂性。

语言

英语

引用信息

@inproceedings{xu-etal-2023-dissonance, title = "从分歧到洞察：剖析案件结果分类中论证构建的分歧", author = "Xu, Shanshan and T.y.s.s, Santosh and Ichim, Oana and Risini, Isabella and Plank, Barbara and Grabmair, Matthias", editor = "Bouamor, Houda and Pino, Juan and Bali, Kalika", booktitle = "2023年自然语言处理实证方法会议论文集", month = dec, year = "2023", address = "新加坡", publisher = "计算语言学协会", url = "https://aclanthology.org/2023.emnlp-main.594", doi = "10.18653/v1/2023.emnlp-main.594", pages = "9558--9576", abstract = "在法律自然语言处理（NLP）中，案件结果分类（COC）不仅需要准确，还需要可信和可解释。现有的可解释COC工作仅限于单一专家的标注。然而，众所周知，律师在评估案件事实时可能存在分歧。因此，我们收集了一个新的数据集RaVE：欧洲人权法院的论证变化，该数据集由国际人权法领域的两位专家提供，我们观察到他们之间的弱一致性。我们研究了他们的分歧，并构建了一个两级任务独立分类法，辅以COC特定的子类别。据我们所知，这是法律NLP中首次关注人类标签变化的工作。我们定量评估了不同分类法类别，发现分歧主要源于法律背景的未明确说明，这在COC元数据通常粒度有限且存在噪声的情况下提出了挑战。我们进一步评估了最先进的COC模型在RaVE上的可解释性，并观察到模型与专家之间的一致性有限。总的来说，我们的案例研究揭示了在创建法律NLP基准数据集时围绕识别案件事实中被认为与其结果相关的方面的先前未被充分认识的复杂性。" }

搜集汇总

数据集介绍

构建方式

在法律自然语言处理领域，案件结果分类（COC）不仅要追求准确性，更需具备可信赖性与可解释性。然而，既有可解释COC研究多局限于单一专家标注，忽视了律师对案件事实评估中固有的分歧。为此，研究团队构建了RaVE数据集，其全称为Rationale Variation in ECHR，旨在捕捉人类标注变异。该数据集由两位国际人权法领域专家独立标注，观测到两者间仅存在弱一致性。基于对标注分歧的深入剖析，研究者建立了一个双层任务无关分类体系，并辅以COC特定子类别，从而系统性地刻画了分歧来源。

特点

RaVE数据集的核心特点在于其首次在法律NLP领域聚焦于人类标签变异，突破了传统单一专家标注的局限。通过定量评估不同分类类别，研究发现分歧主要源于法律语境的不充分界定，这给通常粒度有限且噪声较多的COC元数据带来了显著挑战。此外，数据集进一步评估了当前最先进的COC模型在RaVE上的可解释性，揭示出模型与专家之间的一致性有限。整体而言，该数据集揭示了创建法律NLP基准数据集时，围绕识别案件事实中与结果相关方面这一环节，长期被低估的复杂性。

使用方法

RaVE数据集适用于法律文本的可解释性研究与标注分歧分析。用户可直接加载该数据集，用于训练或评估COC模型在考虑人类标注变异时的表现。具体使用时，可基于数据集提供的双层分类体系，对模型输出的理由与专家标注进行对比，量化模型与人类在特定法律语境下的一致性。该数据集还支持对分歧子类别的深入分析，帮助研究者识别模型在哪些法律语境下容易产生偏差，进而改进模型的可解释性与鲁棒性。

背景与挑战

背景概述

在法律自然语言处理领域，案件结果分类（Case Outcome Classification, COC）不仅要求模型具备高准确性，更需兼顾可信度与可解释性。然而，既有可解释COC研究多依赖单一专家标注，忽视了法律实践中律师对案件事实评估的固有分歧。为弥补这一空白，由Shanshan Xu、Santosh T.y.s.s、Oana Ichim等研究者于2023年在EMNLP会议上提出的RaVE（Rationale Variation in ECHR）数据集，聚焦欧洲人权法院判例，邀请两位国际人权法专家独立标注，观察到其弱一致性。该数据集首次在法律NLP中系统探究人类标注变异性，通过构建双层任务无关分类法及COC特定子类别，揭示了标注分歧的深层结构，为提升模型解释性与鲁棒性奠定了重要基础。

当前挑战

RaVE数据集面临的核心挑战源于法律语境的内在复杂性。其一，专家标注分歧主要源自法律背景信息的不充分界定（underspecification），而COC元数据通常粒度有限且含噪声，使得分歧的量化与建模困难重重。其二，现有最先进COC模型在该数据集上的可解释性评估显示，模型与专家之间的共识程度较低，暴露出模型对案件事实相关性判断的局限性。此外，构建过程中需克服跨专家标注一致性弱、分类法设计需兼顾通用性与任务特异性等难题，这些挑战共同凸显了法律NLP基准数据集创建中尚未被充分认识的复杂性。

常用场景

经典使用场景

在司法自然语言处理领域，RaVE数据集主要用于案件结果分类（COC）中的可解释性研究。该数据集由两位国际人权法专家对欧洲人权法院案例进行双标注，捕捉了法律专家在案情事实评估中的分歧。其核心应用场景是评估和提升COC模型的解释能力，通过分析专家标注不一致的根源，推动模型在复杂法律语境下生成更符合人类认知的推理依据。这一经典使用场景揭示了法律NLP基准数据集构建中不可忽视的标注变异问题。

衍生相关工作

RaVE数据集催生了一系列关于法律NLP中标注变异的前沿工作。其提出的标注分歧分类法已被后续研究用于构建多专家协同标注框架，并启发学者开发基于对比学习的去偏置模型。同时，该数据集推动了可解释COC模型评估标准的革新，衍生出衡量模型与人类专家推理一致性的新指标。相关研究进一步将分歧分析拓展至多语言法律文本领域，形成了法律推理不确定性建模的新方向。

数据集最近研究

最新研究方向

在法律自然语言处理的前沿探索中，案例结果分类（COC）的可靠性与可解释性正成为核心议题。传统研究多依赖单一专家标注，然而法律实践中，律师对案件事实的解读常存在显著分歧。RaVE数据集（Rationale Variation in ECHR）应运而生，由两位国际人权法领域专家协作构建，首次在司法NLP中系统聚焦人类标注变异现象。通过构建两层任务无关分类法及COC特定子类别，研究揭示了分歧主要源于法律语境的不充分定义，这对元数据粒度不足的COC任务构成挑战。进一步评估表明，当前最先进的COC模型与专家在推理依据上一致性有限，凸显了基准数据集构建中未曾被充分认识的复杂性——即如何精准识别对案件结果真正关键的事实要素。这一工作不仅为法律AI的可信度评估提供了新范式，更推动了从单一标注向多元视角的范式转型，对构建更稳健、更贴近真实司法场景的智能系统具有深远意义。