thiagoambiel/sonar-municipal-pl-actions

Sonar Municipal: PL Actions Corpus 是最大的公开葡萄牙语法律文本重写数据集，包含241,111对数据，将巴西市政法律项目（PL）的原始摘要（ementa）映射到其行动形式的文本化（ação）。行动形式是一种直接的、命令式重写，去除了法律模板，规范了排版，并突出了潜在干预而非法律工具。数据集支持两种配置：default包含完整语料库，supervised包含999个用于训练的有监督数据集。数据来源于巴西各市公开的SAPL门户网站，行动重写由PTT5-v2模型生成。主要用于信息检索、序列到序列训练、政策分析和文档分类等任务。--- language: - pt license: cc-by-4.0 pretty_name: "索纳尔市政：议会法案行动语料库" size_categories: - 100K<n<1M task_categories: - summarization tags: - legal - brazilian-portuguese - municipal-legislation - sapl - ementa（法案摘要） - action-textualization - portuguese - rewriting - paraphrase configs: - config_name: default data_files: - split: train path: pl_actions.jsonl - config_name: supervised data_files: - split: train path: supervised.jsonl dataset_info: features: - name: ementa（法案摘要） dtype: string - name: ação（行动文本） dtype: string splits: - name: train num_examples: 241111 --- # 索纳尔市政——议会法案行动语料库 本数据集为目前公开发布的规模最大的葡萄牙语法律文本改写语料库，包含**241111**条数据对，将巴西市政法案（Projeto de Lei，下文简称PL）的原始*ementa*（法案摘要）与其**行动式文本**（*ação*）进行映射。行动式文本是一种直接的祈使式改写，可剔除法律套话、规范排版格式，并凸显核心干预措施而非法律文书本身。 [](https://huggingface.co/thiagoambiel/sonar_municipal_ptt5_ementa2action) [](https://huggingface.co/spaces/thiagoambiel/sonar-municipal-demo) [](https://creativecommons.org/licenses/by/4.0/) > **配套成果**：ICMC-USP（圣保罗大学数学与计算机科学研究所）本科毕业论文《面向巴西市政法案分析的数据挖掘与语义搜索》（索纳尔市政项目）。完整数据集记录（含TREC风格检索基准、标注池与对照实验）已上传至Zenodo：[DOI 10.5281/zenodo.<DS-CONCEPT-PREENCHER>](https://doi.org/10.5281/zenodo.<DS-CONCEPT-PREENCHER>). ## 数据集配置 本数据集包含**两种配置**： ### `default` — 完整语料库（241111条数据） 该配置下的推理结果由模型[`thiagoambiel/sonar_municipal_ptt5_ementa2action`](https://huggingface.co/thiagoambiel/sonar_municipal_ptt5_ementa2action)生成，数据来源于从公开SAPL门户网站爬取的巴西全国市政PL语料库。 python from datasets import load_dataset ds = load_dataset("thiagoambiel/sonar-municipal-pl-actions") print(ds["train"][0]) # {'ementa': 'DISPÕE SOBRE A IMPLANTAÇÃO DE ESTUFAS COM HORTAS PRODUZIDAS COM GARRAFAS PET...', # 'acao': '在市政学校内安装以PET塑料瓶搭建菜园的温室。'} ### `supervised` — 监督训练集（999条数据） 该**精选监督集**用于微调配套模型。标签最初由GPT-5.1-Thinking生成，其中约18%经毕业论文作者手动修订。若你希望基于本任务**训练自定义seq2seq（序列到序列）模型**，该配置为最优选择。 python ds = load_dataset("thiagoambiel/sonar-municipal-pl-actions", name="supervised") print(len(ds["train"])) # 999 若需复现原始训练集/验证集划分（确定性划分，随机种子为42）： python import random rows = list(ds["train"]) random.Random(42).shuffle(rows) train, val = rows[:900], rows[900:] # 按900/99比例划分训练集与验证集 ## 数据格式规范 json { "ementa": "DISPÕE SOBRE A IMPLANTAÇÃO DE ESTUFAS COM HORTAS PRODUZIDAS COM GARRAFAS PET NAS ESCOLAS MUNICIPAIS DE MARABÁ E DA OUTRAS PROVIDÊNCIAS.", "acao": "Instalar estufas com hortas produzidas com garrafas pet nas escolas municipais." } - 编码格式：UTF-8。 - 已规范化HTML实体（例如`&#8211;`转换为`–`）。 - 已合并换行符。 ## 语料库改写规则 通过分析本语料库，行动式文本的改写遵循以下通用规则： - 剔除法律套话（例如`E DÁ OUTRAS PROVIDÊNCIAS`（另有其他规定）、`Dispõe sobre`（就……作出规定）、`Autoriza o Poder Executivo a`（授权行政机关……））。 - 规范排版格式（将全大写文本转换为首字母大写格式，同时保留缩写如LIBRAS、SUS、TEA、CIPED、Castramóvel）。 - 泛化地名（例如`MUNICÍPIO DE MARABÁ`简化为`município`（市政）），仅在地域与政策强相关时保留完整地名。 - 将条件从句压缩为直接不定式动词+宾语短语结构。 - 凸显**核心干预措施**而非法律文书本身： | 法案摘要（ementa） | 基础句法改写结果 | 本语料库行动式文本 | |---|---|---| | "Institui o Projeto Criança Cidadã para emissão de registro de nascimento dentro das maternidades públicas" | "Criar o Projeto Criança Cidadã" | **"在公立助产机构内办理出生登记"** | ## 数据来源 - **源语料库**：公开SAPL门户网站（`sapl.<municipio>.<uf>.leg.br`）。法案摘要（*ementas*）可根据《第9610/98号法律》第8条第2款原文转载（法律文本不受著作权保护）。 - **行动式文本改写**：由[PTT5-v2微调模型](https://huggingface.co/thiagoambiel/sonar_municipal_ptt5_ementa2action)生成，该模型基于`supervised`配置下的999条监督数据对进行训练。 - **数据快照时间**：2025年末。完整方法论详见Zenodo记录中的`PROVENANCE.md`文件（DOI `10.5281/zenodo.<DS-CONCEPT-PREENCHER>`）。 ## 应用场景 - **信息检索**：使用稠密编码器对`acao`字段进行索引，相较于原始ementa，可显著提升查询-文档的语义匹配效果。详见Zenodo父记录中的TREC风格检索基准实验。 - **序列到序列模型训练**：基于本数据对，对T5系列模型或seq2seq（序列到序列）架构进行微调，用于葡萄牙语法律文本向操作文本的改写任务（推荐使用`supervised`配置）。 - **政策分析**：相较于冗长的法律套话，行动式文本更便于聚类与主题建模。 - **文档分类**：将`acao`作为去噪后的输入，用于领域分类器训练。 ## 局限性 - **地域覆盖不均**：巴西各州的数据覆盖程度不均衡（部分UF（巴西联邦州）因SAPL普及率更高而数据量偏高）。 - **全规模语料改写为模型生成**：完整语料库的行动式文本均由模型生成（留出验证集的BERTScore-F1≈0.849）。在高风险场景使用前，请务必验证生成结果。 - **部分领域可靠性有限**：经手动修订的18%种子数据对重点覆盖了政策领域多样性；技术细分领域（例如包含工程术语的城市规划法案）的改写结果可靠性可能较低。 - **无私人个人可识别信息（PII）**：若ementa中提及公职人员（市议员），仅涉及他们的**公职身份**（符合LGPD（巴西通用数据保护法）第7条第3款及第4条第3款）。数据集中不包含投票记录、联系方式或个人作者归属信息。 ## 引用格式 bibtex @dataset{ambiel_sonar_municipal_dataset_2026, title = {Sonar Municipal: TREC风格基准集与24.1万条行动语料库，用于巴西市政法案语义搜索}, author = {Ambiel, Thiago}, year = 2026, publisher = {Zenodo}, doi = {10.5281/zenodo.<DS-CONCEPT-PREENCHER>}, version = {0.9.0}, note = {指导教师：André C. P. L. F. de Carvalho（ICMC-USP）；资助方：AI4PEP/IDRC。} } **ABNT NBR 6023（巴西葡萄牙语学术引用标准）：** > AMBIEL, Thiago. *索纳尔市政：巴西市政法案语义搜索用TREC基准集与24.1万条行动语料库*（版本0.9.0）。[数据集]。Zenodo，2026。DOI：10.5281/zenodo.<DS-CONCEPT-PREENCHER>. ## 致谢 本项目由**AI4PEP**网络（公共卫生应急准备人工智能网络，*Artificial Intelligence for Public Health Emergency Preparedness*）资助，该项目由**加拿大国际发展研究中心（IDRC）**支持。研究受**André C. P. L. F. de Carvalho教授（ICMC-USP）**指导。法案数据来源于**SAPL/Interlegis**（巴西众议院）。 ## 联系方式 如需更正数据或根据LGPD（巴西通用数据保护法）申请移除数据集内容，请联系：<[e-mail]>。正式流程详见Zenodo父记录中的`PROVENANCE.md`第11节。