elenanereiss/german-ler

该数据集是一个用于命名实体识别的德国法律文档数据集，包含约67,000个句子和54,000个标注实体。数据集提供了两种不同粒度的标注：19个细粒度语义类别和7个粗粒度类别。数据集来源于德国联邦法院的判决书，经过人工标注，涵盖了法律领域特有的实体类型。数据集的主要目的是支持法律文档中的命名实体识别任务，特别是识别法律规范、法律机构等特定领域的实体。This dataset is a German legal document dataset tailored for named entity recognition (NER). It contains approximately 67,000 sentences and 54,000 annotated entities. The dataset provides annotations with two distinct granularities: 19 fine-grained semantic categories and 7 coarse-grained categories. Sourced from the judgments of the Federal Court of Justice of Germany, the dataset has been manually annotated and covers entity types exclusive to the legal domain. Its primary purpose is to support named entity recognition tasks in legal documents, particularly for identifying domain-specific entities such as legal norms and legal institutions.

原始信息汇总

数据集概述

数据集名称

• 名称: German Named Entity Recognition in Legal Documents
• 别名: German LER

数据集基本信息

• 语言: 德语
• 许可证: CC-BY-4.0
• 多语言性: 单语种
• 数据集大小: 1M<n<10M
• 源数据: 原始数据

数据集内容

• 描述: 该数据集包含德国联邦法院裁决的法律文件，用于命名实体识别。数据集由人工标注，包含19个细粒度的实体类别。数据集包含约67,000个句子和54,000个标注实体。NER标签使用BIO标签方案。
• 实体类别: 数据集包含两种不同的标注版本，一种包含19个细粒度语义类别(ner_tags)，另一种包含7个粗粒度类别(ner_coarse_tags)。总共有53,632个标注实体，其中大多数（74.34%）是法律实体，其余为人物、地点和组织（25.66%）。

数据集结构

• 数据实例: 每个实例包含一个ID、一组令牌（tokens）、一组细粒度NER标签（ner_tags）和一组粗粒度NER标签（ner_coarse_tags）。
• 数据字段:
  • id: 字符串类型
  • tokens: 字符串序列，长度可变
  • ner_tags: 类别标签序列，类别数为39
  • ner_coarse_tags: 类别标签序列，类别数为15
• 数据分割:
  • 训练集: 53,384个输入句子
  • 验证集: 6,666个输入句子
  • 测试集: 6,673个输入句子

数据集创建

• 来源数据: 数据集来源于2017年和2018年的法院裁决，由联邦司法和消费者保护部发布。
• 数据收集与规范化: 从XML文档中提取数据，删除元数据和段落编号，使用SoMaJo进行分词，并在WebAnno中手动标注。
• 标注过程: 详细信息请参见标注指南。

使用注意事项

• 个人和敏感信息: 所有个人信息已为隐私原因匿名化。

许可证信息

• 许可证: CC BY-SA 4.0

引用信息

@misc{https://doi.org/10.48550/arxiv.2003.13016, doi = {10.48550/ARXIV.2003.13016}, url = {https://arxiv.org/abs/2003.13016},
author = {Leitner, Elena and Rehm, Georg and Moreno-Schneider, Julián},
keywords = {Computation and Language (cs.CL), Information Retrieval (cs.IR), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {A Dataset of German Legal Documents for Named Entity Recognition},
publisher = {arXiv},
year = {2020},
copyright = {arXiv.org perpetual, non-exclusive license} }

搜集汇总

数据集介绍

构建方式

在法律文本分析领域，针对通用新闻语料构建的命名实体识别（NER）模型难以胜任法律文档的独特语义结构，德国联邦法院判决文书构成的GERMAN-LER数据集应运而生。该数据集精选自2017至2018年间德国七大联邦法院（如联邦劳动法院、联邦最高法院等）在司法门户网站发布的107份判决书，通过XML解析提取关键法律文本元素（如判决理由、事实陈述等），并剔除元数据与段落编号。原始文本经SoMaJo分词工具切分后，由领域专家在WebAnno平台上依据19个细粒度实体类别（如法律规范、司法机构、判例引用等）及7个粗粒度类别进行人工标注，采用BIO标注体系，最终构建了约6.7万句、5.4万条实体的高质量语料库。

特点

该数据集的核心特色在于其法律领域的专深性与层次化标注设计。与通用NER数据集不同，其约74%的实体为法律领域特有类型（如法律条款引用“§ 14 Abs. 2”），仅26%涉及通用实体（人名、地名、组织），精准契合司法文本中专业术语密集的语义特征。数据集提供细粒度（19类）与粗粒度（7类）两套标注方案，便于研究者灵活选择建模粒度。所有实体均以BIO标签序列化存储于‘ner_tags’与‘ner_coarse_tags’字段中，标注一致性通过详尽的德文标注指南（Annotationsrichtlinien）保障。此外，判决书已按隐私法规匿名化处理，确保敏感信息脱敏，符合伦理规范。

使用方法

该数据集通过HuggingFace Datasets库直接加载，用户可使用`load_dataset('elenanereiss/german-ler')`一键获取预划分的训练（53,384句）、验证（6,666句）与测试（6,673句）子集。每条样本包含`tokens`（分词列表）及对应的`ner_tags`（细粒度标签ID）和`ner_coarse_tags`（粗粒度标签ID），标签ID映射至包含‘O’（非实体）及各类B-I前缀的39类或15类标签表。研究者可基于`token-classification`任务框架，配合CONLL-2003兼容的列映射（将`tokens`与`ner_tags`映射至模型输入），直接训练序列标注模型。数据集采用CC-BY-SA 4.0许可，引用时需标注原始论文《A Dataset of German Legal Documents for Named Entity Recognition》。

背景与挑战

背景概述

在自然语言处理领域，命名实体识别（NER）技术虽在新闻文本等通用领域取得了显著进展，却难以直接迁移至法律文书这一高度专业化的文本类型。法律文本中充斥着大量领域特有的命名实体，例如法规名称、法院判例引用及法律机构称谓，这些实体往往具有复杂的嵌套结构和语义边界，对现有NER模型构成了严峻考验。为填补这一研究空白，Elena Leitner、Georg Rehm与Julián Moreno-Schneider于2020年发布了German LER数据集。该数据集源自德国联邦最高法院的判决书，涵盖七所联邦法院的案例，由专业法律人士依据19类细粒度实体类型进行人工标注，总计包含约6.7万个句子与5.4万个标注实体。作为首个面向德语法律领域的NER基准数据集，它推动了法律文本信息抽取技术的发展，并为跨领域NER研究提供了重要参照。

当前挑战

German LER数据集所面临的挑战首先体现在领域适配层面：通用NER模型在新闻语料上表现优异，但面对法律文本中占比高达74.34%的法律实体（如法条编号、判决引用）时，其识别准确率急剧下降，这要求模型必须具备对法律语言结构的深层理解能力。其次，在数据集构建过程中，研究人员需克服法律文本特有的复杂性——判决书包含冗长的嵌套从句、专业术语及引用关系，且部分实体（如“§14 Abs.2 Satz 2 TzBfG”）由多个子成分构成，导致标注边界难以统一界定。此外，数据预处理阶段需剔除元数据与段落编号，同时保留语义完整的法律论述，这对文本分割与清洗策略提出了精细要求。最终，在隐私保护方面，所有涉及个人信息的实体均被匿名化处理，这虽符合伦理规范，却也增加了模型对缺失上下文信息的鲁棒性挑战。

常用场景

经典使用场景

German LER数据集最经典的应用场景是面向德语法律文本的命名实体识别（NER）任务。法律文书蕴含着丰富的领域特定实体，如法律规范名称、法院名称、判例引用等，而通用NER模型往往难以准确识别这些结构复杂、语义精细的实体。该数据集基于德国联邦法院的判决文书构建，采用BIO标注体系，涵盖19个细粒度实体类别和7个粗粒度类别，为训练和评估法律领域NER模型提供了高质量、标准化的基准资源。

实际应用

在实际应用中，German LER数据集支撑了法律文书自动化处理系统的核心能力建设。基于该数据集训练的NER模型可被部署于司法案例检索、法律文件摘要生成、法规关联分析等场景，帮助法律从业者快速定位关键实体信息，提升文书审阅与知识管理的效率。此外，该数据集还促进了法律科技产品在合同审查、合规分析、案件预测等商业领域的落地应用。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于预训练语言模型（如BERT、LEGAL-BERT）的法律NER优化方案、跨领域实体识别迁移学习方法，以及多任务学习框架下法律实体与关系联合抽取模型。研究者还基于该数据集探索了少样本学习、主动标注策略等前沿技术，进一步提升了法律NER在低资源场景下的泛化能力，为法律人工智能的持续演进奠定了坚实基础。