UD_v2_17_POS_LEMMA

该数据集是一个用于法语词性标注和词形还原任务的多任务处理数据集，专门设计用于训练Airudit多任务模型。它整合了Universal Dependencies v2.17版本中的七个法语语料库：fr_gsd、fr_sequoia、fr_partut、fr_parisstories、fr_rhapsodie、fr_poitevindivital和fr_pud。每个数据样本包含四个字段：句子标识符（sent_id）、词元序列（tokens）、通用词性标注序列（upos）和词元原形序列（lemmas）。词性标注采用一套17个通用词性标签，覆盖名词、动词、形容词、副词、介词、标点等类别。数据集被划分为训练集（20,159个样本）、开发集（3,768个样本）以及七个独立的测试集（样本数从110到1,000不等），每个测试集对应一个源语料库。在预处理过程中，各语料库的训练集和开发集被合并为统一划分，而测试集则保持原划分并以源语料库命名；此外，对Partut语料库中的部分标签进行了标准化处理以确保标注一致性。该数据集适用于法语词性标注、词形还原及相关序列标注任务的研究与模型训练。This dataset is a multi-task processing dataset for French part-of-speech tagging and lemmatization tasks, specifically designed for training the Airudit multi-task model. It integrates seven French corpora from Universal Dependencies v2.17: fr_gsd, fr_sequoia, fr_partut, fr_parisstories, fr_rhapsodie, fr_poitevindivital, and fr_pud. Each data sample includes four fields: sentence identifier (sent_id), token sequence (tokens), universal part-of-speech tag sequence (upos), and lemma sequence (lemmas). The part-of-speech tagging uses a set of 17 universal part-of-speech tags, covering categories such as nouns, verbs, adjectives, adverbs, prepositions, and punctuation. The dataset is divided into a training set (20,159 samples), a development set (3,768 samples), and seven independent test sets (ranging from 110 to 1,000 samples each), with each test set corresponding to a source corpus. During preprocessing, the training and development sets from each corpus were merged into unified splits, while the test sets retained their original splits and were named after their source corpora; additionally, some labels in the Partut corpus were standardized to ensure annotation consistency. This dataset is suitable for research and model training in French part-of-speech tagging, lemmatization, and related sequence labeling tasks.

原始信息汇总

数据集概述

该数据集专为词性标注（POS）和词形还原（Lemmatization）任务设计，用于训练Airudit多任务模型。

数据来源

数据集整合了Universal Dependencies v2.17版本的多个法语语料库，具体来源如下：

• fr_gsd
• fr_sequoia
• fr_partut
• fr_parisstories
• fr_rhapsodie
• fr_poitevindivital
• fr_pud

数据集结构

数据集包含以下数据划分（split）：

划分名称	样本数量	字节大小
train	20,159	12,377,732
dev	3,768	1,857,210
test_fr_gsd	416	260,262
test_fr_sequoia	456	268,640
test_fr_partut	110	69,583
test_fr_parisstories	697	271,127
test_fr_rhapsodie	840	312,095
test_fr_pud	1,000	644,257
test_fr_poitevindivital	239	140,396

数据集总大小：16,201,302 字节（约15.45 MB），下载大小为3,928,400 字节（约3.75 MB）。

数据特征

每条数据包含以下字段：

• sent_id（字符串）：句子标识符。
• tokens（字符串列表）：句子中的词元（tokens）。
• lemmas（字符串列表）：每个词元对应的词元（lemma）。
• upos（类别标签列表）：每个词元的通用词性标签。

标签类别

词性标签（upos）共包含18个类别： [NOUN, PUNCT, ADP, NUM, SYM, SCONJ, ADJ, PART, DET, CCONJ, PROPN, PRON, X, _, ADV, INTJ, VERB, AUX]

预处理说明

• 所有语料库的训练集和开发集被合并为统一的train和dev划分。
• 各语料库的测试集被保留，并根据来源语料库重新命名（如test_fr_gsd）。
• 仅保留了相关列：["sent_id", "tokens", "upos", "lemmas"]。
• 在Partut数据集中，对“ne”和“n”等小品词原标注为PART，为与其他UD语料库保持一致，已将其标签转换为ADV。
• 数据集通过脚本multitask-nlp/src/multitask_nlp/datasets/pos_dataset_preparation.py生成。

搜集汇总

数据集介绍

构建方式

此数据集融合了Universal Dependencies v2.17中多个法语语料库，包括fr_gsd、fr_sequoia、fr_partut、fr_parisstories、fr_rhapsodie、fr_pud及fr_poitevindivital。通过将各语料库的训练集与开发集统一合并，形成协调一致的训练集和验证集，而每个源语料库的测试集则按原始来源单独保留并重命名。在预处理阶段，仅保留句子标识符、分词、词性标签和词形还原结果四个核心字段；特别处理了fr_partut语料中'ne'和'n''等词类标签的一致性，将其从PART统一转换为ADV，以确保不同来源数据的标注标准相兼容。

特点

该数据集专为同时进行词性标注与词形还原的多任务学习而设计，共包含约20159条训练样本及分布于9个不同测试子集上的多样数据。标签体系涵盖18种通用词性类别，包括名词、动词、形容词、介词、连词等，并特别保留了原始语料中存在的下划线占位符标签。测试子集来自不同法语语域，既涵盖GSD、Sequoia等传统书面语资源，也包含Paris Stories、Rhapsodie等口语及韵律标注材料，为模型评估提供了丰富的语言变体覆盖。

使用方法

用户可通过HuggingFace Datasets库的load_dataset函数直接加载该数据集，指定名称'airudit/UD_v2_17_POS'即可获取完整的训练、验证及各测试子集。每个样本包含句子标识符、分词序列、词性标签序列及词形还原结果四个对齐字段。词性标签以整数编码形式存储，可通过访问数据集特征的upos属性的feature命名空间获取对应的语义化标签名称列表，便于后续模型输入与评估。

背景与挑战

背景概述

该数据集由Airudit团队基于通用依赖（Universal Dependencies）v2.17版本的法语语料库构建，旨在服务于词性标注（POS tagging）与词形还原（Lemmatization）两大核心自然语言处理任务。作为多任务学习模型的关键训练资源，它整合了fr_gsd、fr_sequoia、fr_partut、fr_parisstories、fr_rhapsodie、fr_poitevindivital及fr_pud等多个法语语料库，涵盖了新闻、口语、学术、法律及区域语言变体等多种文本类型。数据集的创建解决了传统单一语料库在语言多样性上的局限，为法语多任务模型提供了高质量、统一格式的标注数据，在推动法语自然语言处理研究发展方面具有重要影响力。

当前挑战

数据集的构建面临多重挑战。首先，词性标注与词形还原作为语法分析的基础任务，需应对法语丰富的形态变化和复杂的语法结构，例如动词变位、名词性别数配合以及形同义异词的处理。其次，多源语料库整合过程中，不同标注规范（如Partut语料库中附词‘ne’与‘n’采用PART标签）需通过统一转换策略（如调整至ADV标签）以保证数据一致性。此外，数据集的维护与扩展需持续跟踪UD版本更新，并确保各类口语、区域语言变体等低频语言现象的充分覆盖，以提升模型的泛化能力。

常用场景

经典使用场景

在自然语言处理领域，词性标注与词形还原是文本分析的两项基础任务。UD_v2_17_POS_LEMMA数据集融合了法语多种语料库的资源，涵盖新闻、口语、学术及法律等多样文本类型，为多任务学习模型提供了丰富且均衡的训练材料。该数据集最经典的用途在于训练能够同时执行词性标注与词形还原的联合模型，例如Airudit所提出的多任务架构。通过统一的分词表示和标注体系，研究者能够在此基准上高效评估模型在不同法语语域下的泛化能力，从而推动多任务学习在低资源语言处理中的发展。

解决学术问题

该数据集有效解决了法语自然语言处理中词性标注与词形还原任务数据碎片化与标注不一致的学术难题。传统上，不同语料库采用各异的标注规范，导致模型跨域迁移困难。UD_v2_17_POS_LEMMA通过整合Universal Dependencies v2.17框架下的多个法语语料库，统一了词性标签与词形还原格式，并针对特殊现象如Partut语料中的词类转化进行了标准化处理。这一举措不仅降低了多任务学习的预处理门槛，还为研究法语口语与书面语之间的句法差异提供了可靠资源，对语言模型在真实语音识别与文本理解中的鲁棒性提升具有重要意义。

衍生相关工作

依托该数据集，学术界衍生出一系列富有影响力的研究工作。Airudit团队基于此构建的多任务神经网络模型成为法语语义分析的重要基石，其联合学习策略被后续研究广泛借鉴。后续工作包括针对低资源场景的跨语言迁移学习，利用该数据集的统一标签体系将法语模型适配至其他罗曼语族语言。此外，预训练语言模型如CamemBERT和FlauBERT的微调任务也常以该数据集为评估基准，验证其句法与形态学表示的质量。这些衍生工作不仅巩固了该数据集在法语NLP领域的标杆地位，也助推了多语言信息处理技术的进步。