LEVEN

arXiv2022-03-16 更新2024-06-21 收录

下载链接：

https://github.com/thunlp/LEVEN

下载链接

链接失效反馈

资源简介：

LEVEN是一个大规模的中文法律事件检测数据集，由清华大学创建，包含8,116份法律文档和150,977个人工标注的事件提及，涵盖108种事件类型。该数据集不仅关注与指控相关的事件，还包括对案件理解至关重要的通用事件，这些在现有数据集中常被忽视。LEVEN是目前最大的法律事件检测数据集，其数据规模是其他数据集的数十倍，旨在显著推动法律事件检测方法的训练和评估。此外，LEVEN还展示了法律事件检测对于下游法律人工智能应用的基础性作用，如法律判决预测和类似案件检索，表明法律事件检测能够提供细粒度信息，从而作为法律人工智能的基本处理过程。

提供机构：

清华大学

创建时间：

2022-03-16

AI搜集汇总

数据集介绍

构建方式

在法律人工智能领域，事件检测是理解案件事实的基础环节。LEVEN数据集的构建遵循严谨的两阶段流程：首先基于《刑法》条文与法学教材，系统梳理了与刑事指控高度关联的64类事件；继而通过对真实案例的抽样分析，补充了44类对案件理解至关重要但常被忽视的通用行为事件，最终形成包含108类事件的层次化本体。数据来源于中国政府公开的刑事判决文书，经正则表达式提取指控信息并保留事实描述部分，通过长度筛选与分层抽样，获得8,116份高质量文档。标注过程中，采用基于语义词汇与SBERT相似度计算的启发式方法预选触发词与事件类型候选，再经由众包标注与专家复核的两阶段人工标注流程，最终标注了150,977个事件提及，标注者间一致性系数达0.875，确保了数据规模与质量的双重优势。

使用方法

LEVEN数据集为法律事件检测模型的训练与评估提供了标准基准。研究者可将数据集按约0.65:0.15:0.2的比例划分为训练集、验证集与测试集，并利用官方提供的负样本进行公平比较。评估时建议同时采用微观与宏观平均的精确率、召回率与F1值，以应对类别不均衡问题。数据集支持多种模型范式，包括基于BiLSTM、BERT的令牌分类模型，以及采用动态池化的DMCNN与DMBERT模型。实验表明，将检测到的事件信息作为侧信息，能有效提升下游任务性能，例如在低资源判决预测中平均提升2.2个百分点的精确率，在无监督案例检索中提升1.5个百分点的平均精度。因此，该数据集不仅可用于推动事件检测本身的技术进步，亦可作为增强法律判决预测、类案检索等应用的关键基础模块。

背景与挑战

背景概述

法律事件检测是法律人工智能领域的一项基础性任务，旨在从法律文书中自动识别事件触发词并分类其对应的事件类型，从而为案件分析与判决预测等下游应用提供结构化信息。由清华大学人工智能与法律研究院等机构于2022年联合构建的LEVEN数据集，作为当前规模最大的中文法律事件检测数据集，涵盖了8,116份法律文书、108种事件类型及150,977条人工标注的事件提及。该数据集的创建不仅突破了以往法律事件数据规模有限、事件类型覆盖狭窄的瓶颈，更通过纳入大量与罪名无关的通用事件，深化了对法律案件的理解维度，为法律信息提取与文档分析的研究提供了坚实的数据基础。

当前挑战

LEVEN数据集所应对的核心领域挑战在于提升法律事件检测的全面性与准确性。传统法律事件检测仅关注有限数量的罪名导向事件，忽视了案件描述中普遍存在的通用行为事件，导致模型难以完整把握案件事实链条。在数据构建过程中，研究团队面临双重困难：一是需要设计高覆盖率的事件体系，既要依据法律条文归纳罪名相关事件，又需从真实案例中总结通用事件类型，以确保事件体系的完备性与实用性；二是大规模高质量标注的实现，需通过启发式候选触发词与事件类型推荐机制提升标注效率，并采用两阶段标注流程与严格的质控措施保障标注一致性，最终在复杂法律文本中实现了对海量事件实例的精准标注。

常用场景

经典使用场景

在司法人工智能领域，法律事件检测是理解案件事实、分析法律逻辑的核心基础任务。LEVEN数据集作为目前规模最大的中文法律事件检测数据集，其最经典的使用场景在于为各类法律事件检测模型提供训练与评估基准。该数据集覆盖了108种事件类型，包含超过15万条人工标注的事件提及，能够全面支持从传统序列标注模型到基于预训练语言模型的深度学习方法进行系统性验证与性能对比。研究者可利用LEVEN构建端到端的事件检测系统，精准识别法律文书中描述的行为、结果及司法相关事件，为后续法律推理提供结构化的事件信息。

解决学术问题

LEVEN数据集有效缓解了法律事件检测领域长期存在的两大挑战：数据规模有限与事件类型覆盖不全。以往的法律事件检测数据集通常仅包含数千条标注，且事件模式多局限于罪名导向的少数类型，难以支撑数据驱动模型的充分训练。LEVEN通过大规模、高质量的标注，不仅提供了充足的训练信号和可靠的评估基准，还引入了44类一般行为事件，弥补了传统数据集忽视对案件理解至关重要的日常行为事件的缺陷。该数据集的发布显著推动了法律信息提取与文档分析的研究进展，为探索法律领域的事件语义理解、长尾事件检测及跨句子上下文建模等前沿问题奠定了坚实基础。

实际应用

LEVEN数据集所支持的法律事件检测技术在实际司法应用中具有广泛价值。通过自动提取法律文书中的关键事件，该系统能够辅助法律判决预测任务，尤其在低资源环境下，事件信息作为侧信息可显著提升罪名、法条及刑期预测的准确性。在类似案例检索场景中，基于事件频率的文档表示方法能够有效捕捉案例间的细粒度相似性，提升检索精度。此外，事件检测结果还可用于法律知识图谱构建、案件摘要生成、司法风险评估等实务环节，为法官、律师及法律研究者提供高效的智能辅助工具，减轻文书处理负担，提升司法工作效率与一致性。

数据集最近研究