flwrlabs/fed-legal

Fed-Legal是一个仅限英语的五库联合监督微调（SFT）数据集，用于法律语言任务。它将选定的法律基准数据集转换为共享的聊天式模式，适用于指令调整和联合学习实验。每个库对应不同的法律任务家族或数据集来源。数据集通过设计是非独立同分布的：每个`client_id`代表不同的法律任务分布，而不是一个同质语料库的随机分片。数据集构建自LexGLUE/LEDGAR（法律条款分类）、LexGLUE/CaseHOLD（多选案例持有选择）、LexGLUE/Unfair-ToS（消费者服务条款不公平性分类）、LexGLUE/SCOTUS（美国最高法院问题领域分类）和LegalBench/Contract NLI（合同自然语言推理和法律推理任务）。所有示例都标准化为带有系统提示、用户指令和助手回答的聊天消息。输出数据集包含通过连接每个库的分区创建的全局`train`、`valid`和`test`分割。

Fed-Legal is an English-only, five-silo, federated supervised fine-tuning (SFT) dataset for legal language tasks. It converts selected legal benchmark datasets into a shared chat-style schema suitable for instruction tuning and federated learning experiments. Each silo corresponds to a different legal task family or dataset source. The dataset is intentionally non-IID by construction: each `client_id` represents a different legal task distribution rather than a random shard of one homogeneous corpus. The dataset is built from LexGLUE/LEDGAR (legal provision classification), LexGLUE/CaseHOLD (multiple-choice case holding selection), LexGLUE/Unfair-ToS (consumer terms-of-service unfairness classification), LexGLUE/SCOTUS (U.S. Supreme Court issue-area classification), and LegalBench/Contract NLI (contract natural language inference and legal reasoning tasks). All examples are normalized into chat messages with a system prompt, user instruction, and assistant answer. The output dataset contains global `train`, `valid`, and `test` splits created by concatenating each clients per-silo split.

搜集汇总

数据集介绍

构建方式

Fed-Legal数据集的构建依托于两个广受认可的法学自然语言处理基准——LexGLUE与LegalBench，通过程序化手段将其中涵盖的多种法律任务样本统一转换为聊天式监督微调格式。具体而言，系统从五个预定义的数据孤岛出发，每个孤岛对应一类独特的法律任务族，例如LEDGAR法律条款分类、CaseHOLD判例选择、Unfair-ToS消费者条款不公性分类、SCOTUS最高法院议题分类以及Contract NLI合同自然语言推理。所有上游数据经合并、去重与可选降采样后，按90%、5%和5%的比例为每个客户划分训练、验证与测试集，最终将各客户子集拼接形成全局数据集。这一设计确保了每个客户拥有异质化的任务分布，从而真实反映联邦学习中常见的非独立同分布挑战。

特点

该数据集最显著的特点在于其刻意构建的非独立同分布结构：五个客户孤岛分别承载不同的法律任务分布，而非从单一语料库中随机切分，这使其成为评估联邦学习算法在异构场景下性能的理想基准。此外，所有样本均被标准化为包含系统提示、用户指令与助理解答的聊天格式，系统提示统一约定为‘您是一位法律助手，请简洁准确地回答，当提供法律文本时务必依据文本而非捏造事实’，从而确保了指令微调的一致性。数据集涵盖了分类、多选分类与多标签分类三类任务形态，并附带了客户标识、任务类型与语言等元信息，便于研究人员进行细粒度的分析与跨孤岛泛化实验。

使用方法

研究人员可通过Hugging Face Datasets库直接加载该数据集，使用`load_dataset("flwrlabs/fed-legal")`获取全局训练、验证与测试划分。若需模拟联邦学习场景，可借助Flower Datasets库中的NaturalIdPartitioner，依据`client_id`字段将数据划分为五个异构客户端分区，并通过`load_partition(partition_id=0)`访问特定客户的数据。加载后的每条样本均包含`messages`列表、任务类型与语言代码，可直接作为大语言模型指令微调的输入输出对。值得注意的是，各客户标签空间互不相同，因此全局标签分层统计并不具有实际意义，研究者应聚焦于跨任务泛化能力的评估。

背景与挑战

背景概述

在自然语言处理与法律智能交汇的前沿，联邦学习为利用分散的法律数据训练模型提供了一种隐私保护范式，但现有基准多聚焦于同构数据且忽视客户端异构性。Fed-Legal数据集于2024年由Flower Labs基于LexGLUE和LegalBench两大权威法律基准构建，专为联邦监督微调与指令遵循实验而设计。该数据集通过精心划分五个任务异构的数据孤岛，分别涵盖法律条款分类、判例选择、服务条款公平性判定、最高法院案件分类及合同自然语言推理，旨在模拟真实世界中不同法律机构所持有的非独立同分布数据场景。其在多任务法律推理与跨孤岛泛化评估方面具有重要影响力，推动了法律领域联邦学习与指令微调的基准化进程。

当前挑战

Fed-Legal所应对的核心领域挑战在于法律智能任务中数据分布的极端非独立同源性——不同法律机构往往聚焦各异、标注标准不一致，而传统集中式基准无法刻画这一现实。构建过程中面临的关键挑战包括：将来自LexGLUE与LegalBench的多种任务格式统一转换为符合指令微调范式的对话结构，同时保持各孤岛内部标签空间的独立性与任务多样性；对LEDGAR和CaseHOLD等大规模子集进行50%降采样以平衡计算开销与数据代表性；以及跨五个异构客户端的全局数据切分策略设计，需确保训练、验证与测试集在客户级而非全局标签级上维持均衡，从而忠实反映联邦学习中局部数据漂移的评估需求。

常用场景

经典使用场景

Fed-Legal数据集在联邦学习与法律自然语言处理的交叉领域中扮演着关键角色，其最经典的使用场景是作为异构联邦监督微调（SFT）的基准测试平台。该数据集巧妙地将LexGLUE与LegalBench中的多项法律任务——包括法律条文分类、判例选择、消费者条款不公平性多标签分类、最高法院议题分类以及合同自然语言推理——转化为统一的对话式指令微调格式，并依据任务类型划分为五个天然非独立同分布（non-IID）的数据孤岛。研究者可借助该数据集，在保持数据本地化分布的前提下，系统评估联邦学习算法在处理法律文本分类、多选问答及推理任务时的表现，尤其适合探索跨任务异构性对模型聚合与个性化微调效果的影响。

衍生相关工作

Fed-Legal的发布催生了多项具有影响力的衍生研究工作，特别是在联邦学习算法与法律NLP交叉的前沿领域。基于该数据集，研究者提出了面向异构法律任务的联邦适配器微调方法，通过为每个任务孤岛分配轻量级适配模块，显著提升了多任务联邦场景下的模型精度与收敛速度。还有工作针对其non-IID特性，设计了基于原型对齐的联邦蒸馏策略，有效缓解了标签空间不匹配带来的负迁移问题。在联邦优化层面，该数据集被用作评估个性化联邦平均（pFedAvg）与梯度掩码联邦学习（FedMask）等先进算法的基准，揭示了任务特异性参数隔离在异构法律文本分类中的重要性。此外，围绕该数据集的跨孤岛泛化能力，涌现出基于元学习的联邦初始化方法，为少样本法律推理任务提供了新范式。

数据集最近研究

最新研究方向

当前，联邦学习与法律领域大语言模型的交叉研究日益受到关注，Fed-Legal数据集应运而生。该数据集通过整合LexGLUE与LegalBench等权威法律基准，创新性地构建了五个非独立同分布（non-IID）任务分片，每个客户端承载截然不同的法律任务分布，如条款分类、判例选择及合同自然语言推理。这一设计精准模拟了真实司法场景中数据异构性挑战，为法律大模型的联邦微调与跨任务泛化评估提供了标准化实验平台。其研究意义深远，不仅推动了隐私保护下法律人工智能的发展，更促使学界重新审视异构联邦学习中模型收敛性与任务适配性的平衡，成为连接法律NLP与分布式机器学习的前沿枢纽。