遇见数据集

louisbrulenaudet/code-commande-publique

收藏
Hugging Face2024-07-21 更新2024-03-04 收录
官方服务:

资源简介:

该数据集名为Code de la commande publique,专注于法律领域的微调预训练语言模型,以提高法律实践中的效率和准确性。数据集包含多个任务类别,如文本生成、表格问答、摘要、文本检索、问答和文本分类。数据集的大小在1K到10K之间,语言为法语。数据集的生成基于一系列指令,这些指令用于生成法律条文的文本内容。

This dataset, named Code de la commande publique, focuses on fine-tuning pre-trained language models for legal practice to improve efficiency and accuracy. The dataset includes multiple task categories such as text generation, table-question-answering, summarization, text retrieval, question-answering, and text classification. The dataset size ranges between 1K and 10K, and the language is French. The dataset is generated based on a series of instructions used to produce the textual content of legal articles.

提供机构:
louisbrulenaudet
原始信息汇总

数据集概述

基本信息

  • 许可证: Apache 2.0
  • 语言: 法语
  • 多语言性: 单语种
  • 标签:
    • 微调
    • 法律
    • 法国法律
    • 法国公法
    • 公共采购法典
  • 源数据集: 原始数据
  • 易读名称: 公共采购法典
  • 任务类别:
    • 文本生成
    • 表格问答
    • 摘要
    • 文本检索
    • 问答
    • 文本分类
  • 数据集大小: 1K<n<10K

数据集生成

  • 数据格式: JSON文件,包含以下字段:

    • instruction: 字符串,表示与元素相关的指令。
    • input: 字符串,表示元素的输入细节。
    • output: 字符串,表示元素的输出信息。
    • start: 字符串,表示文章生效日期。
    • expiration: 字符串,表示文章失效日期。
    • num: 字符串,表示文章的ID。
  • 生成指令: 使用以下指令列表生成数据集: python instructions = [ "Compose lintégralité de larticle sous forme écrite.", "Écris la totalité du contenu de larticle.", "Formule la totalité du texte présent dans larticle.", "Produis lintégralité de larticle en écriture.", "Développe larticle dans son ensemble par écrit.", "Génère lensemble du texte contenu dans larticle.", "Formule le contenu intégral de larticle en entier.", "Rédige la totalité du texte de larticle en entier.", "Compose lintégralité du contenu textuel de larticle.", "Rédige lensemble du texte qui constitue larticle.", "Formule larticle entier dans son contenu écrit.", "Composez lintégralité de larticle sous forme écrite.", "Écrivez la totalité du contenu de larticle.", "Formulez la totalité du texte présent dans larticle.", "Développez larticle dans son ensemble par écrit.", "Générez lensemble du texte contenu dans larticle.", "Formulez le contenu intégral de larticle en entier.", "Rédigez la totalité du texte de larticle en entier.", "Composez lintégralité du contenu textuel de larticle.", "Écrivez larticle dans son intégralité en termes de texte.", "Rédigez lensemble du texte qui constitue larticle.", "Formulez larticle entier dans son contenu écrit.", "Composer lintégralité de larticle sous forme écrite.", "Écrire la totalité du contenu de larticle.", "Formuler la totalité du texte présent dans larticle.", "Produire lintégralité de larticle en écriture.", "Développer larticle dans son ensemble par écrit.", "Générer lensemble du texte contenu dans larticle.", "Formuler le contenu intégral de larticle en entier.", "Rédiger la totalité du texte de larticle en entier.", "Composer lintégralité du contenu textuel de larticle.", "Rédiger lensemble du texte qui constitue larticle.", "Formuler larticle entier dans son contenu écrit.", "Quelles sont les dispositions de larticle ?", "Quelles dispositions sont incluses dans larticle ?", "Quelles sont les dispositions énoncées dans larticle ?", "Quel est le texte intégral de larticle ?", "Quelle est la lettre de larticle ?" ]

搜集汇总
数据集介绍
louisbrulenaudet/code-commande-publique 数据集图片
构建方式
该数据集基于法国公共采购法典(Code de la commande publique)的官方法律文本构建,每日自动更新以确保数据的时效性与准确性。数据源自法国官方立法数据库(LEGI),经过系统化抽取与结构化处理,形成包含文章编号、生效日期、法律状态、层级关系等丰富元数据的条目。每个条目以字典形式存储,涵盖从基础信息到版本历史的二十余个字段,如文章内容、HTML格式文本、父章节标识及欧洲立法标识符(ELI)。这一构建方式旨在为研究人员与法律从业者提供可直接用于微调与检索的标准化语料,支持多任务场景下的下游应用。
特点
该数据集的核心特点在于其多维度的元数据覆盖与细粒度的法律文本结构。除基本文章内容外,每条记录均包含法律状态(如“MODIFIE_MORT_NE”)、版本历史、父章节关系及官方公报编号,便于进行时间序列分析与法律演变追踪。数据集支持法语单语言处理,规模介于1K至10K条之间,适合作为轻量级微调或检索增强生成(RAG)系统的测试基准。其每日刷新机制确保了法律文本的实时性,为法律AI模型的训练提供了可靠且动态的数据源。
使用方法
用户可通过HuggingFace Datasets库直接加载该数据集,并利用RAGoon工具包实现多法典数据的并行接入。推荐使用Python代码片段(如`load_datasets`函数)将多个法律数据集合并,以构建更全面的训练集。数据适用于文本生成、问答、摘要、检索与分类等任务。使用时需注意字段结构,例如利用`texte`字段提取文章内容,通过`dateDebut`与`dateFin`进行时间过滤,或借助`sectionParentId`重建法律层级。建议结合RAG框架,将数据集作为知识库以增强语言模型的法律推理能力。
背景与挑战
背景概述
《公共采购法典》数据集由研究者Louis Brulénaudet于2025年创建,旨在为法国法律文本的数字化处理提供结构化资源。该数据集聚焦于法国公共采购领域的法律条文,涵盖自生效至废止的完整生命周期,并附有版本变迁、层级关系及元数据等丰富信息。其核心研究问题在于如何高效整合并更新分散的法律数据,以支持文本生成、问答、摘要等自然语言处理任务。作为LegalKit项目的一部分,该数据集通过每日自动刷新机制,为法律专业人士和研究者提供了动态、可靠的开放数据基础,显著推动了法语法律领域大语言模型的开发进程。
当前挑战
当前数据集面临的核心挑战包括:其一,法律文本的领域复杂性——公共采购法涉及大量专业术语、嵌套条款及动态更新,要求模型具备精准的语义理解与时效性追踪能力,这对文本生成与检索任务构成了显著障碍。其二,构建过程中的数据异构性——法律条文以多种格式(如HTML、纯文本)存储,且包含历史版本、扩展信息及层级关联,整合这些异构数据需设计高效的解析与对齐策略,同时确保每日增量更新的完整性与一致性。此外,多语言依赖(如欧洲立法标识符的映射)进一步增加了数据清洗与标注的难度。
常用场景
经典使用场景
在法国法律文本处理与自然语言处理交叉领域,louisbrulenaudet/code-commande-publique 数据集被广泛用于微调大语言模型,以生成符合法国公法体系的规范文本。研究者通常利用其丰富的文章元数据(如生效日期、法律状态、历史版本)进行序列到序列的文本生成任务,例如自动起草公共采购合同条款或法律意见书。该数据集的结构化特性使其成为训练模型理解法国《公共采购法典》层级关系与法律逻辑的经典基准,尤其在低资源法律领域,它填补了法语法律数据稀缺的空白。
实际应用
在实际应用中,该数据集已融入法国公共采购领域的数字化工作流中。法律科技公司借助其训练出的模型可自动审查招标文件与法律条文的一致性,辅助律师快速检索相关条款(如通过 table-question-answering 任务),或生成标准化的采购合同模板。此外,政府机构利用该数据集开发智能问答系统,为中小企业提供实时公共采购法规咨询,从而降低法律合规门槛,促进公共市场的透明化与效率提升。
衍生相关工作
基于该数据集,衍生出了一系列标志性工作:RAGoon 框架实现了多法典并行加载与检索增强生成,使模型能动态引用多个法律文本;研究者进一步构建了跨法典的文本分类模型,用于自动识别法律条文间的隐性引用关系;还有工作聚焦于法律摘要生成,利用该数据集的 HTML 内容与历史笔记字段,生成了可追溯版本变更的简明法律摘要。这些工作共同推动了法语法律NLP从单一文本处理向结构化法律知识图谱构建的演进。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务