sxu/RaVE_emnlp23

VECHR数据集是一个专注于法律自然语言处理（NLP）中案例结果分类（COC）的研究数据集，特别是研究专家之间在案例事实评估上的分歧。数据集RaVE（Rationale Variation in ECHR）由两位国际人权法领域的专家提供，观察到他们之间的弱一致性。研究这些分歧并构建了一个两级任务无关的分类法，补充了COC特定的子类别。这是法律NLP中首次关注人类标签变化的工作。研究还评估了不同分类法类别，发现分歧主要源于法律上下文的不明确，这对COC元数据的通常有限粒度和噪声提出了挑战。此外，还评估了最先进的COC模型在RaVE上的可解释性，观察到模型与专家之间的一致性有限。

原始信息汇总

数据集卡片 VECHR

数据集概述

在法律自然语言处理（NLP）中，案件结果分类（COC）不仅需要准确，还需要可信和可解释。现有的可解释COC工作仅限于单一专家的标注。然而，众所周知，律师在评估案件事实时可能存在分歧。因此，我们收集了一个新的数据集RaVE：欧洲人权法院的论证变化，该数据集由国际人权法领域的两位专家提供，我们观察到他们之间的弱一致性。我们研究了他们的分歧，并构建了一个两级任务独立分类法，辅以COC特定的子类别。据我们所知，这是法律NLP中首次关注人类标签变化的工作。我们定量评估了不同分类法类别，发现分歧主要源于法律背景的未明确说明，这在COC元数据通常粒度有限且存在噪声的情况下提出了挑战。我们进一步评估了最先进的COC模型在RaVE上的可解释性，并观察到模型与专家之间的一致性有限。总的来说，我们的案例研究揭示了在创建法律NLP基准数据集时围绕识别案件事实中被认为与其结果相关的方面的先前未被充分认识的复杂性。

语言

英语

引用信息

@inproceedings{xu-etal-2023-dissonance, title = "从分歧到洞察：剖析案件结果分类中论证构建的分歧", author = "Xu, Shanshan and T.y.s.s, Santosh and Ichim, Oana and Risini, Isabella and Plank, Barbara and Grabmair, Matthias", editor = "Bouamor, Houda and Pino, Juan and Bali, Kalika", booktitle = "2023年自然语言处理实证方法会议论文集", month = dec, year = "2023", address = "新加坡", publisher = "计算语言学协会", url = "https://aclanthology.org/2023.emnlp-main.594", doi = "10.18653/v1/2023.emnlp-main.594", pages = "9558--9576", abstract = "在法律自然语言处理（NLP）中，案件结果分类（COC）不仅需要准确，还需要可信和可解释。现有的可解释COC工作仅限于单一专家的标注。然而，众所周知，律师在评估案件事实时可能存在分歧。因此，我们收集了一个新的数据集RaVE：欧洲人权法院的论证变化，该数据集由国际人权法领域的两位专家提供，我们观察到他们之间的弱一致性。我们研究了他们的分歧，并构建了一个两级任务独立分类法，辅以COC特定的子类别。据我们所知，这是法律NLP中首次关注人类标签变化的工作。我们定量评估了不同分类法类别，发现分歧主要源于法律背景的未明确说明，这在COC元数据通常粒度有限且存在噪声的情况下提出了挑战。我们进一步评估了最先进的COC模型在RaVE上的可解释性，并观察到模型与专家之间的一致性有限。总的来说，我们的案例研究揭示了在创建法律NLP基准数据集时围绕识别案件事实中被认为与其结果相关的方面的先前未被充分认识的复杂性。" }