five

louisbrulenaudet/code-forestier-nouveau

收藏
Hugging Face2024-07-21 更新2024-06-11 收录
下载链接:
https://hf-mirror.com/datasets/louisbrulenaudet/code-forestier-nouveau
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集名为Code forestier (nouveau),专注于法律领域的微调预训练语言模型,特别是法国法律。数据集的任务类别包括文本生成、表格问答、摘要、文本检索、问答和文本分类。数据集的规模在1K到10K之间。数据集的生成过程涉及JSON文件,每个条目包含指令、输入、输出、生效日期、过期日期和文章编号。

该数据集名为Code forestier (nouveau),专注于法律领域的微调预训练语言模型,特别是法国法律。数据集的任务类别包括文本生成、表格问答、摘要、文本检索、问答和文本分类。数据集的规模在1K到10K之间。数据集的生成过程涉及JSON文件,每个条目包含指令、输入、输出、生效日期、过期日期和文章编号。
提供机构:
louisbrulenaudet
原始信息汇总

数据集概述

基本信息

  • 许可证: Apache-2.0
  • 语言: 法语 (fr)
  • 多语言性: 单语种
  • 标签:
    • 微调
    • 法律
    • 法国法律
    • 法国森林法(新)
  • 源数据集: 原始数据
  • 美观名称: 法国森林法(新)
  • 任务类别:
    • 文本生成
    • 表格问题回答
    • 摘要生成
    • 文本检索
    • 问题回答
    • 文本分类
  • 大小类别: 1K<n<10K

数据集内容

  • 数据结构: JSON文件,每个字典包含以下字段:
    • instruction: 字符串,与元素相关的指令。
    • input: 字符串,元素的输入详情。
    • output: 字符串,元素的输出信息。
    • start: 字符串,文章生效日期。
    • expiration: 字符串,文章失效日期。
    • num: 字符串,文章ID。

数据集生成

  • 生成指令: 使用一系列指令生成数据集,指令包括撰写文章全文、生成文章文本内容等。

联系方式

搜集汇总
数据集介绍
main_image_url
构建方式
该数据集名为Code forestier (nouveau),由开发者louisbrulenaudet构建,旨在为研究人员、法律从业者及法学学生提供对法国《新森林法典》的简化且及时更新的访问。数据集每日刷新,确保法律文本的时效性。其构建基于原始法律数据,通过自动化流程提取每条法律条目的详细信息,包括基本元数据(如生效日期、终止日期、法律状态)、正文内容(纯文本与HTML格式)、版本历史、层级关系(如父章节标识与标题)以及欧洲立法标识符(ELI)等。所有条目被组织为结构化的字典格式,便于后续集成到训练集或标注流水线中,支持开源语言模型的开发。
特点
该数据集的核心特点在于其丰富的元数据与细粒度的结构化设计。每条法律条目不仅包含核心的文本内容与编号,还涵盖了法律状态(如“AUTONOME”或“MODIFIE_MORT_NE”)、多个日期字段(开始、结束及扩展日期)、版本追踪(先前版本标识)、层级关系(父章节ID与标题)以及官方公报编号等。此外,数据集支持多版本并存(通过布尔字段标识),并包含HTML格式的备注与补充信息,极大便利了法律文本的深度分析与检索。其每日更新的机制确保了数据与法国法律体系同步,适用于文本生成、摘要、问答及分类等多样化任务。
使用方法
使用该数据集时,用户可通过Python环境中的ragoon库进行高效加载。首先安装ragoon(命令:pip3 install ragoon),然后调用load_datasets函数,传入包含数据集名称(如“louisbrulenaudet/code-forestier-nouveau”)的列表,并设置streaming参数为False以获取完整数据。如需整合多个法律法典,可使用datasets.concatenate_datasets函数将返回的数据集列表合并。每条数据以字典形式呈现,键如ref、texte、dateDebut等分别对应文章引用、正文、生效日期等属性,用户可根据任务需求直接访问这些字段,用于模型微调、检索增强生成或统计分析。
背景与挑战
背景概述
在法国法律体系数字化进程中,法律文本的机器可读性与结构化程度直接影响着司法人工智能的发展。2025年9月,由独立研究者Louis Brulenaudet主导创建的louisbrulenaudet/code-forestier-nouveau数据集应运而生,其核心研究问题聚焦于为法国《新森林法典》提供每日更新的、非指令式(non-instruct)的文本数据。该数据集整合了法律条款的元数据、历史版本、层级关系及HTML内容,旨在降低研究者、法律从业者及学生获取最新法国法律文本的门槛,并为开源语言模型的训练与标注管线提供标准化数据基础。作为LegalKit系列数据集的组成部分,它通过RAGoon工具实现多法典的联合加载,显著提升了法国法律数据的可复用性与互操作性,对推动法语法律自然语言处理研究具有重要奠基意义。
当前挑战
该数据集所解决的领域挑战在于,法国法律文本具有高度动态性(每日需同步更新)、复杂层级结构(条款、章节、扩展版本)以及多源异构格式(LEGI数据库原始数据与结构化元数据的映射),这要求模型能够精准处理法律条文的时效性、版本追溯与跨文档引用。在构建过程中,挑战尤为突出:其一,需从官方LEGI接口持续抓取《新森林法典》的实时变更,并处理非结构化HTML内容的清洗与解析;其二,需为每个条款维护包含27个字段的元数据体系(如历史版本标识符、父级章节ID、ELI欧洲立法标识符),确保数据完整性与一致性;其三,需通过RAGoon工具实现多数据集的无缝拼接,解决不同法典间命名规范与字段差异的兼容性问题,最终为法律文本生成、检索与问答等下游任务提供高质量训练数据。
常用场景
经典使用场景
在法国法律文本智能处理的学术探索中,Code forestier (nouveau) 数据集为研究者提供了结构化的法国新森林法典全文内容,涵盖条款编号、生效日期、法律状态、层级关系及历史版本等丰富元数据。其经典使用场景聚焦于法律文本的生成式预训练与微调,研究者可基于该数据集训练能够理解并生成法国法律条文的大型语言模型,亦可用于构建法律条款检索系统、文本摘要生成器以及表格问答引擎,从而推动自然语言处理技术在法语法律领域的深度应用。
解决学术问题
该数据集有效解决了法语法律领域缺乏高质量、结构化、实时更新且开源的法律文本语料库这一核心学术瓶颈。它使研究者能够突破传统人工标注的局限,系统性地开展法律文本分类、法律推理问答、跨条款关系抽取以及法律文档摘要等前沿课题。其意义在于为开放科学背景下的大语言模型法律能力评估提供了标准化基准,深刻影响了计算法学与自然语言处理交叉领域的研究范式,促进了法国法律知识图谱的自动化构建进程。
衍生相关工作
该数据集衍生了一系列具有开创性的学术与工程工作。其中最引人注目的是 RAGoon 框架的诞生,它实现了多部法国法典数据集的并行加载与联合查询,为法律检索增强生成(Retrieval-Augmented Generation)提供了高效的工程解决方案。此外,研究者基于该数据集开发了面向法国森林法典的专用指令微调模型,以及用于法律条款版本差异检测的对比学习系统。这些工作共同推动了法语法律领域从传统文本处理向智能化、自动化的跨越式演进。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务