joelniklaus/mapa

该数据集由来自EUR-Lex的12份文档（西班牙语为9份，由于解析错误）组成，EUR-Lex是一个包含欧盟24种官方语言的法院判决和法律处置的多语言语料库。这些文档已根据MAPA项目的指南进行了命名实体注释，该指南预见了两层注释，一层是通用的，另一层是更细粒度的。注释后的语料库可用于命名实体识别/分类。数据集支持的任务是命名实体识别和分类（NERC），支持的语言包括bg、cs、da、de、el、en、es、et、fi、fr、ga、hu、it、lt、lv、mt、nl、pt、ro、sk、sv。数据集的结构为jsonl格式，包含训练、验证和测试三个数据分割。注释过程分为粗粒度和细粒度两个层次，分别使用了不同的标签集。

This dataset consists of 12 documents sourced from EUR-Lex, a multilingual corpus containing court judgments and legal dispositions across all 24 official languages of the European Union. Among these 12 documents, 9 are in Spanish and suffered from parsing errors. These documents have been annotated for named entities following the guidelines of the MAPA project, which specifies two levels of annotation: a general-level one and a more fine-grained one. The annotated corpus is applicable to named entity recognition and classification (NERC). The supported languages for this dataset are bg, cs, da, de, el, en, es, et, fi, fr, ga, hu, it, lt, lv, mt, nl, pt, ro, sk, sv. The dataset is structured in JSON Lines (JSONL) format, and includes three data splits: training, validation, and test. The annotation process consists of two levels: coarse-grained and fine-grained, with distinct label sets used for each level.

原始信息汇总

数据集概述

数据集描述

数据集摘要

• 名称: Multilingual European Datasets for Sensitive Entity Detection in the Legal Domain
• 内容: 包含12个文档，主要用于西班牙语的敏感实体检测，源自EUR-Lex的多语言法律文件。
• 用途: 用于命名实体识别和分类（NERC）。
• 语言: 支持多种语言，包括bg, cs, da, de, el, en, es, et, fi, fr, ga, hu, it, lt, lv, mt, nl, pt, ro, sk, sv。

支持的任务和排行榜

• 任务: 命名实体识别和分类（NERC）。

语言支持

• 语言列表: bg, cs, da, de, el, en, es, et, fi, fr, ga, hu, it, lt, lv, mt, nl, pt, ro, sk, sv。

数据集结构

数据实例

• 格式: jsonl。
• 分割: 包含训练、验证和测试集。

数据字段

• language: 句子语言。
• type: 文档类型，目前仅支持EUR-LEX。
• file_name: 文档文件名。
• sentence_number: 句子在文档中的编号。
• tokens: 句子中的词列表。
• coarse_grained: 粗粒度标注。
• fine_grained: 细粒度标注。

数据分割

• 分割详情: 每个语言的训练、验证和测试文件数量及句子数量。

数据集创建

来源数据

• 数据源: EUR-Lex corpus。
• 语言生产者: 律师。

标注过程

• 标注工具: INCePTION。
• 标注者数量: 1。
• 标注层次: 两级，包括粗粒度和细粒度。

许可证

• 许可证类型: CC-BY-4.0。

引用信息

@article{DeGibertBonet2022, author = {{de Gibert Bonet}, Ona and {Garc{{i}}a Pablos}, Aitor and Cuadros, Montse and Melero, Maite}, journal = {Proceedings of the Language Resources and Evaluation Conference}, number = {June}, pages = {3751--3760}, title = {{Spanish Datasets for Sensitive Entity Detection in the Legal Domain}}, url = {https://aclanthology.org/2022.lrec-1.400}, year = {2022} }

搜集汇总

背景与挑战

背景概述

该数据集是一个多语言命名实体识别数据集，专注于法律领域，基于EUR-Lex欧盟法律文档构建，支持21种欧盟官方语言。数据集采用双层标注体系，包含粗粒度和细粒度实体标签，旨在用于敏感实体检测和匿名化工具开发。数据以json格式提供，分为训练、验证和测试集，总行数约41.8k。