ua-council-decisions
收藏资源简介：
乌克兰市政委员会决策报头身份抽取数据集是一个结构化信息抽取数据集，包含1,075份乌克兰市政委员会决策文件，来自43个地方议会（每个议会精确采样25份决策）。数据来源于乌克兰政府公开记录，所有个人姓名均为以官方身份行事的公职人员（如市长或议会秘书）。该数据集的任务是：给定单份决策文件的完整文本，提取其报头中的五个身份字段：决策编号（decision_no，约19%的合法空值）、决策日期（date，ISO格式）、决策标题/主题行（title）、签署官员姓名（signatory）以及发布议会的规范名称（council_name）。数据以扁平化JSONL格式存储，每条记录对应一份决策，包含唯一标识符（key）、源文档索引（index）、来源议会主机（council）、原始文档页面链接（source_url）、完整决策文本（text，包含OCR和markdown转换输出）以及五个目标字段。数据集采用按议会分组的划分方式：34个训练议会（850条记录）和9个保留评估议会（225条记录），确保评估集测量对未见议会的泛化能力，而非记忆议会内部模式。数据构建流程包括：从rada.info平台获取2025年度的决策文件，通过OCR+文档管道转换为每页markdown；使用蒸馏的DistilBERT边界分割器隔离每个决策片段；通过Claude Haiku生成初始字段抽取结果；最后由Claude Opus对所有片段进行完整审查和校正。数据局限性包括：源扫描件为约120 DPI的图像PDF，文本可能包含OCR错误、同形异义字和间距伪影；部分决策报头无编号，模型需学习输出空值而非虚构编号；领域特定于乌克兰语市政决策；签署官员姓名为公职人员的真实姓名（以官方角色出现）。数据集以CC-BY-4.0许可证发布，基于底层文档为乌克兰政府公开记录的性质。
The Ukrainian Municipal Council Decision Header Identity Extraction Dataset is a structured information extraction dataset containing 1,075 Ukrainian municipal council decision documents from 43 local councils (with exactly 25 decisions sampled per council). The data is sourced from Ukrainian government public records, and all personal names are public officials acting in their official capacity (e.g., mayors or council secretaries). The task of this dataset is: given the full text of a single decision document, extract five identity fields from its header: decision number (decision_no, with approximately 19% legitimate null values), decision date (date, in ISO format), decision title/subject line (title), signatory official name (signatory), and the canonical name of the issuing council (council_name). The data is stored in a flattened JSONL format, with each record corresponding to one decision, containing a unique identifier (key), source document index (index), source council host (council), original document page link (source_url), full decision text (text, including OCR and markdown conversion outputs), and the five target fields. The dataset uses a council-grouped split: 34 training councils (850 records) and 9 held-out evaluation councils (225 records), ensuring that the evaluation set measures generalization to unseen councils rather than memorizing intra-council patterns. The data construction pipeline includes: obtaining decision documents from the rada.info platform for the year 2025, converting them to per-page markdown via an OCR+document pipeline; isolating each decision segment using a distilled DistilBERT boundary segmenter; generating initial field extraction results via Claude Haiku; and finally, conducting a full review and correction of all segments by Claude Opus. Data limitations include: source scans are image PDFs at approximately 120 DPI, and text may contain OCR errors, homoglyphs, and spacing artifacts; some decision headers lack a number, requiring models to learn to output null values rather than fabricating numbers; the domain is specific to Ukrainian-language municipal decisions; and signatory names are real names of public officials (appearing in their official roles). The dataset is released under the CC-BY-4.0 license, based on the nature of the underlying documents as Ukrainian government public records.
数据集概述
数据集名称：Ukrainian Municipal Council Decisions — Masthead Identity Extraction
许可证：CC-BY-4.0
语言：乌克兰语
数据集规模与构成
- 总记录数：1,075 份乌克兰市政委员会决议（рішення），来自 43 个地方委员会（громади / ради），每个委员会 恰好 25 份 决议（规模较大的委员会被下采样）。
- 数据集拆分：
- 训练集：34 个委员会，850 行
- 评估集：9 个委员会，225 行（评估集委员会完全不出现在训练集中，用于衡量跨委员会泛化能力）
- 拆分方式：基于委员会的分组拆分（
GroupShuffleSplit），种子 13。
任务定义
给定一份决议的完整文本，从文档报头（masthead） 中提取以下五个字段：
| 字段 | 说明 |
|---|---|
decision_no |
决议编号（如 4169、VIII-12）。约 19% 的记录为 null——这是正确的标签（许多委员会报头没有编号），并非遗漏。 |
date |
决议日期，ISO 格式 yyyy-mm-dd。 |
title |
决议标题/主题行（通常为“Про ...”开头）。 |
signatory |
签署官员姓名（公职人员，官方身份）。 |
council_name |
发布委员会的规范名称。 |
数据列说明
每条记录（JSONL 格式）包含：
key：源决议内容的 SHA256 哈希（稳定 ID）index：源文档中的索引council：源委员会主机名（如agronomichna-gromada.gov.ua）source_url：原始文档页面的链接（100% 记录均有）text：决议全文（Markdown 格式，包含 OCR 标记[pN]）decision_no、date、title、signatory、council_name：五个金标准字段
数据构建流程
- 数据来源：来自 rada.info 平台的 51 个委员会 2025 年普通决议（OCR 转录 + 原生 .doc/.docx 转换），筛选为单决议 ≤10 页的文档，排除重命名/修正类决议。
- 分割：使用蒸馏版 DistilBERT 边界分割器（边界 F1 0.957，类型准确率 0.932）分离每个决议片段，仅保留非全空的
decision类型。 - 银标准标签：由
claude-haiku-4-5初步提取字段。 - Opus 审查（全量）：所有训练集和评估集均由 Claude Opus 子代理审查并修正。
- 权威
decision_no：由 Opus 对所有真实决议报头独立重新提取并标准化（ASCII 连字符、拉丁罗马数字）；空白报头设为null。 council_name：每个委员会归一化为一个 Opus 选择的规范形式。
局限性
- OCR 噪声：源扫描件为约 120 DPI 图像型 PDF，
text可能包含 OCR 错误、同形字和排版伪影。 - 空白报头：约 19% 的
decision_no合法为null，模型应学会输出null，而非虚构编号。 - 领域特定：仅限乌克兰语市政决议，非通用抽取数据集。
- 公职人员姓名：
signatory包含真实公职人员的官方身份姓名，不包含任何私人个人 PII。
数据来源与版本
- 数据集内容 SHA256：
cb703652815d…（v1.1 版本，新增source_url） - 内部数据集 ID：19，修订版 2
许可证说明
采用 CC-BY-4.0 许可证发布，基础文档为乌克兰政府公共记录。使用者应自行确认该许可证在其司法管辖区和用途下的适用性。
