dk-udvalg-skole-boern-unge

该数据集包含丹麦各市政当局中负责学校、儿童、青年、家庭、日托和教育事务的政治委员会会议的议程、决策记录和附件。数据通过 FirstAgenda 门户的 JSON API 从各市政当局的公开议程门户中收集。数据集结构包含三个子集：`moeder`（会议信息，每行一次会议，包括市政当局、委员会、会议名称、日期、地点、会议 ID、议程点、附件、路径和采集时间）、`punkter`（议程点，每行一个议程点，包括点编号、标题、案件编号、是否公开、附件数量、附件名称，案件编号可用于跨会议跟踪案件）和 `dokumenter`（附件，包含嵌入的 PDF 二进制内容，分片存储，每片约400MB，列包括市政当局、委员会、日期、会议 ID、会议名称、附件名称、路径、文件名、大小、SHA256 和内容）。截至2026年8月7日，数据集包含来自87个市政当局的16,148次会议和173,945个附件。注意：仅覆盖使用 FirstAgenda 平台的58个市政当局（哥本哈根、奥尔堡、埃斯比约、科灵等未包含），仅包含学校/儿童/青年相关的委员会，委员会名称可能因市政当局而异，可能导致某些委员会遗漏。封闭会议议程点显示标题但无内容。文档为市政当局的官方文件，可能包含政治家和工作人员姓名。该数据集并非任何市政当局的官方发布，是 Silkeborg Skoleatlas 研究的一部分，可与 `dk-skoledata-national` 和 `dk-skolebestyrelse-referater` 数据集关联。This dataset contains agendas, decision records, and attachments from political committee meetings responsible for schools, children, youth, families, daycare, and education in Danish municipalities. Data is collected via the FirstAgenda portals JSON API from public agenda portals of municipalities. The dataset structure includes three subsets: `moeder` (meeting information, one row per meeting, including municipality, committee, meeting name, date, location, meeting ID, agenda points, attachments, path, and collection time), `punkter` (agenda points, one row per agenda point, including point number, title, case number, public/private status, number of attachments, attachment name, case number can be used to track cases across meetings), and `dokumenter` (attachments, containing embedded PDF binary content, sharded, each shard about 400MB, columns include municipality, committee, date, meeting ID, meeting name, attachment name, path, filename, size, SHA256, and content). As of August 7, 2026, the dataset contains 16,148 meetings and 173,945 attachments from 87 municipalities. Note: It only covers 58 municipalities using the FirstAgenda platform (Copenhagen, Aalborg, Esbjerg, Kolding, etc. are not included), and only includes committees related to schools/children/youth. Committee names may vary by municipality, potentially leading to omissions. Closed meeting agenda points show titles but no content. Documents are official municipal files and may contain names of politicians and staff. This dataset is not an official release of any municipality; it is part of the Silkeborg Skoleatlas research and can be linked with the `dk-skoledata-national` and `dk-skolebestyrelse-referater` datasets.

原始信息汇总

丹麦各市镇学校、儿童与青年事务委员会数据集

数据集简介

该数据集收录了丹麦各市镇政治委员会（负责学校、儿童、青年、家庭、日托和教育事务）的议程、决策记录及附件材料。数据集持续扩展，目前覆盖87个市镇。

当前状态（截至2026年8月7日）： 16,148次会议记录，173,945份附件，来自87个市镇。

数据规模与结构

数据规模为 10K < N < 100K，语言为丹麦语（da），采用知识共享署名4.0（CC-BY-4.0）许可协议。数据集按市镇分目录组织，包含三种类型的Parquet文件：

1. 会议文件（moeder/）

每行对应一次会议，字段包括：kommune（市镇）、udvalg（委员会）、moede（会议）、dato（日期）、sted（地点）、moede_id（会议ID）、punkter（议程点）、bilag（附件）、sti（路径）、hentet（抓取时间）。

2. 议程点文件（punkter/）

每行对应一个议程点，字段包括：punktnummer（议程点编号）、titel（标题）、sagsnummer（案件编号）、aabent（是否公开）、antal_bilag（附件数量）、bilagsnavne（附件名称）。通过案件编号可跨会议追踪同一案件。

3. 文档文件（dokumenter/）

PDF文件以二进制列（indhold）嵌入Parquet文件中，每个分片约400 MB。字段包括：kommune、udvalg、dato、moede_id、moede、bilag_navn、sti、filnavn、stoerrelse、sha256、indhold。

使用示例（PyArrow）： python import pyarrow.parquet as pq

仅读取元数据列

kat = pq.read_table("dokumenter/kommune=rebild/part-000.parquet", columns=["dato", "udvalg", "bilag_navn", "stoerrelse"])

按需读取单个文档

t = pq.read_table("dokumenter/kommune=rebild/part-000.parquet", columns=["filnavn", "indhold"]) open(t["filnavn"][0].as_py(), "wb").write(t["indhold"][0].as_py())

数据来源

数据来源于各市镇在FirstAgenda平台（dagsordener.<kommune>.dk）上公开的议程门户，通过该平台自身的JSON API收集。

覆盖范围与注意事项

• 仅覆盖58个市镇（丹麦共99个）使用FirstAgenda平台的城市；哥本哈根、奥尔堡、埃斯比约、科灵等其他城市使用不同平台，暂未收录。
• 仅包含学校/儿童/青年相关委员会，筛选标准为委员会名称包含“school”（学校）、“children”（儿童）、“young”（青年）、“family”（家庭）、“daycare”（日托）、“education”（教育）或“learning”（学习）等关键词；非传统命名的委员会可能遗漏。
• 非公开议程点仅显示标题而无内容（与门户网站一致）。
• 文档为市镇官方文件原样收录，可能包含政治人物和工作人员姓名。

关联说明

本数据集非任何市镇官方发布，收集工作服务于Silkeborg Skoleatlas研究项目。可关联以下数据集：

• dk-skoledata-national
• dk-skolebestyrelse-referater

适用任务

该数据集适用于以下自然语言处理任务：

• 文本分类（text-classification）
• 文本摘要（summarization）
• 问答系统（question-answering）

搜集汇总

数据集介绍

构建方式

该数据集源自丹麦各市镇公开的FirstAgenda议事日程门户，通过门户自带的JSON API系统化采集，覆盖87个市镇的16,148场会议及173,945份附件。数据按层级结构组织为三个部分：会议记录、议程项目和嵌入PDF文档的附件，分别以Parquet格式存储，其中文档附件采用约400MB的分片策略，将PDF二进制内容内嵌于列中，以优化存储与访问效率。构建过程严格遵循市镇委员会的分类标准，聚焦于涉及学校、儿童、青年、家庭、日托及教育领域的政治议题。

特点

该数据集的一个显著特征是其结构化设计。会议、议程项目和文档通过唯一标识符（如sagsnummer）实现跨会议的追踪关联。文档附件以二进制形式嵌入Parquet文件，避免了数千个单独文件的管理负担，同时支持列式读取，允许仅选择所需元数据或内容列。数据覆盖范围虽广，但仍存在地域限制，仅包含使用FirstAgenda平台的58个市镇，且议题筛选基于传统委员会名称，可能遗漏非常规命名的机构。此外，文档保留原始形式，可能包含个人姓名，需注意隐私合规。

使用方法

使用时，推荐通过Python的PyArrow库读取Parquet文件。若仅需探索性分析，可先读取元数据列（如日期、委员会、附件名和大小），避免加载庞大的PDF二进制列。当需要特定文档内容时，再按需提取对应行，并通过列投影仅加载所需字段，将二进制数据写入本地文件。该数据集可与其他相关丹麦学校数据集结合使用，支持文本分类、摘要生成和问答等自然语言处理任务，尤其适用于研究地方政治决策过程和政策分析。

背景与挑战

背景概述

该数据集名为“Danske kommuners skole-, børne- og ungeudvalg”（丹麦市镇学校、儿童与青年委员会），由Silkeborg Skoleatlas项目团队于2026年8月创建，旨在系统化收集丹麦各市镇政治委员会关于学校、儿童、青年、家庭、日托和教育的会议议程、决策记录及附件。核心研究问题在于如何利用自然语言处理技术，从海量地方政务文本中提取信息，以支持教育政策分析和透明度提升。数据集覆盖87个市镇的16,148场会议和173,945份附件，通过FirstAgenda门户的JSON API获取，并计划持续扩展。其发布为政务文本挖掘、教育决策研究提供了独特资源，影响力体现在促进地方政府数据开放与可访问性，尤其与Silkeborg Skoleatlas等教育地图项目紧密关联。

当前挑战

构建该数据集面临多重挑战。在领域问题层面，地方政务文本具有高异质性，市镇间委员会命名多样且随时间变化，导致自动过滤可能遗漏非传统命名的委员会；同时，仅覆盖58个使用FirstAgenda平台的市镇，造成地理覆盖不全面，限制了全国性分析的完整性。在构建过程中，技术挑战尤为突出：初期以散文件发布14.3万份PDF，导致下载负担重，且HuggingFace的.gitattributes默认规则不涵盖.pdf，需逐文件添加LFS规则，当文件超过10MB时上传被拒，最终通过将PDF嵌入Parquet二进制列，将文件数减少至约300个，显著提升数据管理效率。此外，封闭会议点仅有标题而无内容，且文档含个人信息，需在隐私与实用性间平衡。

常用场景

经典使用场景

该数据集聚焦丹麦各市镇学校、儿童与青年事务委员会的议程、决议记录及附件，涵盖16,148场会议与173,945份文件，以Parquet格式分层存储会议、议程点与嵌入PDF的文档。其核心经典使用场景在于支撑对地方教育治理过程的系统性文本分析，研究者可借此追踪议题从议程提出到决议形成的完整生命周期，也可利用嵌入的原始PDF进行细粒度的内容挖掘，如政策议题演变、决策模式识别及跨市镇比较研究。

实际应用

在实际应用层面，该数据集可直接服务于新闻调查、公民监督与政务透明化工具的开发。例如，记者和分析师可快速检索特定市镇关于特殊教育或日托设施的讨论记录，用于揭露决策中的潜在偏见或信息缺口；非政府组织可构建仪表盘实时追踪儿童福利政策的执行动态；开发者亦可基于此训练法律与行政文本的分类或摘要模型，提升公共档案的可用性，进而促进公众参与和问责制。

衍生相关工作

该数据集已衍生出Silkeborg Skoleatlas研究项目，并可与同系列数据集（如全国学校数据、学校董事会会议记录）联合使用，构建多层次的丹麦教育治理全景数据库。其启发的衍生工作包括：开发跨语种的行政文档摘要系统、基于议程点的时间序列分析模型，以及用于预测地方政策趋同或分化的机器学习框架。此外，嵌入PDF的格式创新也为大规模文档密集型数据集的建设提供了可复制的技术范式，推动了计算社会科学与自然语言处理在公共行政领域的交叉应用。