five

hansard

收藏
Hugging Face2026-06-28 更新2026-06-29 收录
下载链接:
https://huggingface.co/datasets/a2aj/hansard
下载链接
链接失效反馈
官方服务:
资源简介:
Canadian Hansard (A2AJ) 数据集是一个用于计算法律与政治研究的开放访问数据集,提供了加拿大立法机构(当前覆盖安大略省立法议会)的官方议会辩论记录(Hansard)的结构化版本。数据集将辩论记录解析为结构化行,每行代表一次干预(即发言者的一次发言轮次或一条程序性记录)。数据规模方面,包含约 1,347,812 行数据,覆盖 1974 年 3 月 5 日至 2026 年 6 月 2 日期间的 4,474 个会议日,语言为英语。数据集包含 12 个字段,包括唯一标识符(ID)、会议日期(Date)、司法管辖区(jurisdiction)、议院(chamber)、语言(language)、事务顺序(OrderofBusiness)、事务主题(SubjectofBusiness)、发言者(PersonSpeaking)、干预类型(intervention_type,如 speech 或 procedural)、干预文本(Intervention)、上游许可证(upstream_license)和来源 URL(source_url)。该数据集旨在支持程序化搜索议会记录中的模式、追踪辩论和政策随时间的演变、为法规解释收集立法意图证据、以及将议会讨论与立法和判例法联系起来。它还可用于支持法律技术原型设计和符合公共利益的(特别是促进边缘化和低收入社区司法公正的)语言模型研究。数据通过自动抓取和解析官方立法机构网站的 HTML 记录创建,并经过最小化规范化处理。用户需注意数据为非官方副本,解析过程是自动化和近似的,可能存在错误,且需遵守上游许可证可能包含的使用限制。数据集由 Access to Algorithmic Justice (A2AJ) 项目维护,采用 MIT 许可证(代码部分),并受安大略省法律基金会、加拿大社会科学与人文研究委员会等机构资助。
创建时间:
2026-06-22
原始信息汇总

数据集概述:Canadian Hansard (A2AJ)

数据集地址: https://huggingface.co/datasets/a2aj/hansard

维护方: Access to Algorithmic Justice (A2AJ)
许可协议: MIT License(数据集代码及A2AJ的数据处理工作),同时需遵守每个文档的 upstream_license 字段中的上游许可(可能包含商业使用限制等)。
数据状态: Alpha版本,持续更新中(最后更新于2026-06-28)。


数据集摘要

该数据集提供加拿大立法机构的议会辩论记录(Hansard)的结构化转录文本,每行代表一次“干预”(即发言者发言或程序性记录)。目前涵盖安大略省立法议会的数据,旨在支持计算法律与政治研究,例如:

  • 程序化搜索议会记录中的模式。
  • 追踪辩论、政策和语言随时间的演变。
  • 为法规解释收集立法目的和意图的证据。
  • 将议会讨论与立法和判例法关联。
  • 支持法律技术原型设计和面向公众利益的语言模型研究(尤其是促进边缘化和低收入社区诉诸司法)。

数据集规模与结构

管辖区域 行数 会议天数 日期范围 语言
安大略省立法议会 1,347,812 4,474 1974-03-05 → 2026-06-02 en

总行数:1,347,812


数据字段说明

每行代表一个“干预”(发言者发言或程序性记录)。

字段 类型 描述
ID string 稳定的行标识符(会议日期 + 序列号)
Date string 会议日期(YYYY-MM-DD)
jurisdiction string 立法机构(例如 ontario
chamber string 立法机构内的具体议院(例如 legislative_assembly
language string 源页面语言(例如 en
OrderofBusiness string 高层级议程标题
SubjectofBusiness string 特定主题/事项
PersonSpeaking string 发言人标签(程序性行为行为行留空)
intervention_type string speech(发言)或 procedural(程序性记录)
Intervention string 干预文本内容
upstream_license string 来源立法机构的许可/归属条款
source_url string 该行数据来源的页面URL

缺失值以空字符串或null表示,程序性行的 PersonSpeaking 字段为空。


数据语言

当前仅覆盖英语;未来可能为双语管辖区域增加法语版本。


数据拆分

每个管辖区域(目前为安大略省 ontario )的数据在单个 train 拆分中提供。


数据加载方式

可使用 Hugging Face datasets 库加载:

python from datasets import load_dataset rows = load_dataset("a2aj/hansard", "ontario", split="train") df = rows.to_pandas()

数据也以Parquet格式提供:

python import pandas as pd df = pd.read_parquet("hf://datasets/a2aj/hansard/ontario/train.parquet")

工作示例笔记本可在 GitHub 获取。


数据创建与来源

  • 策展理由: 民主化加拿大议会记录,支持大规模实证研究,推动负责任的人工智能在司法和民主领域的应用。仅在网站服务条款允许的情况下进行爬取。
  • 源数据与标准化: 从官方立法机构网站爬取HTML页面,解析为结构化行。文本进行最小化标准化(HTML转纯文本、空白清理),议程标题映射到 OrderofBusiness / SubjectofBusiness,每次发言或程序性记录生成一行。
  • 非官方版本声明: 此处文本为非官方副本,权威版本请参考 source_url 中的源URL。
  • 非附属/认可声明: A2AJ及数据集制作与所列立法机构或政府无隶属关系,亦不获其认可。

使用注意事项

  • 社会影响: 开放议会数据可减少信息不对称,但也可能被滥用。鼓励衍生工具应促进而非损害诉诸司法和民主问责制。
  • 偏差与代表性: 汉萨德记录反映在特定编辑和程序性惯例下议会的言论,并非所有政治活动的中立或完整记录。
  • 局限性: 解析过程为自动化且近似。不同议会的HTML格式存在差异,speech / procedural 分类为启发式方法,附件PDF未被解析(仅解析HTML记录)。依赖任何行数据前请对照官方来源核实。

数据策展方与联系方式

  • 策展方: Access to Algorithmic Justice (A2AJ)
  • 联系邮箱: a2aj@yorku.ca
  • 致谢: 本研究成果部分获得安大略法律基金会、加拿大社会科学与人文研究理事会资助,Digital Research Alliance of Canada提供计算资源,难民研究中心、难民法律实验室、Osgoode Hall法学院提供行政支持。
搜集汇总
数据集介绍
main_image_url
构建方式
该数据集由Access to Algorithmic Justice(A2AJ)研究项目构建,旨在为计算法律与政治研究提供大规模、开放获取的加拿大议会辩论记录。数据采集自官方立法机构的网站,通过自动化爬虫从HTML页面中提取文本,并进行最小程度的规范化处理(如将HTML转换为纯文本、清洗空白字符)。每个发言轮次或程序性记录被解析为单独的数据行,标题信息被映射至'OrderofBusiness'与'SubjectofBusiness'字段。数据以Parquet格式存储,按司法管辖区分设配置(当前为安大略省),所有行归入单一的'train'拆分,便于高效加载与处理。
使用方法
使用该数据集可通过HuggingFace的datasets库便捷加载:指定配置名称(如'ontario')与拆分('train'),即可获得可转为Pandas DataFrame的迭代器对象。同时,用户也可直接通过Pandas的read_parquet函数读取远程Parquet文件。官方提供了工作示例笔记本以辅助数据访问。需注意,数据集为自动化解析结果,可能包含误差,重要应用前应核对官方来源。上游许可信息记录在'upstream_license'字段中,使用前需遵守相应条款,部分许可可能限制商业用途。
背景与挑战
背景概述
加拿大汉萨德(Hansard)数据集由约克大学奥斯古德堂法学院与多伦多城市大学林肯·亚历山大法学院联合发起的“获取算法正义”(A2AJ)研究项目于2026年首次发布,旨在系统收录加拿大立法机构的议会辩论官方记录。该数据集聚焦于将结构性薄弱、访问受限的政治语料转化为机器可读的开放资源,服务于计算法学与政治科学领域的实证研究,如追踪政策话语的历时演变、辅助法规目的的司法解释,以及推动面向弱势社群的法律技术原型开发。作为目前规模最大的加拿大议会干预数据集之一,它涵盖了安大略省立法议会自1974年至2026年间超过130万条发言与程序记录,为跨学科研究者提供了前所未有的细粒度分析基础。
当前挑战
该数据集所回应的核心挑战在于,传统议会记录多以非结构化HTML格式分散存储于各官方站点,导致大规模检索与系统性分析困难重重。构建过程中,研究者面临三大技术难点:其一,不同立法机构的网页模板差异显著,需设计可扩展的解析管道以统一提取发言者、议程主题与干预文本;其二,对干预类型(如发言与程序性注释)的启发式分类精度有限,可能引入混叠噪声;其三,附加的PDF附件未被解析,部分历史记录的完整性受限于源站点的数据可及性与许可协议。此外,数据集仅含英文记录,未来需拓展至法语内容以覆盖加拿大双语语境,并持续校验自动化流程中的解析错误,确保研究结论的可靠性。
常用场景
经典使用场景
在计算法学与政治科学的交汇领域,hansard数据集为研究者提供了加拿大安大略省立法机构自1974年以来逾130万条议会辩论干预记录,每条记录精细标注了发言者、议事日程、主题及发言文本。该数据集最经典的使用场景是将结构化的议会辩论文本作为语料库,应用自然语言处理技术追踪政策话语的历时演变,例如分析特定议题(如司法改革、社会福利)的修辞框架如何随执政党更迭而变迁;或通过发言人之间的互动网络揭示立法过程中的联盟与冲突模式。此外,利用时间戳与议题字段,研究者可探究重大法律通过前后议会语境的变化,从而将立法意图与公共话语的微观动态相映证。
解决学术问题
hansard数据集解决了长期以来法律与政治研究中对大规模、结构化议会记录迫切需求的鸿沟。传统上,法律实证研究依赖人工抽样或小规模文本分析,难以捕捉立法话语的宏观演变规律与统计显著性。该数据集的开放获取与机器可读格式,使得学者得以系统性地回答诸如立法语言如何回应最高法院判例、议会辩论中是否存在系统性话语偏差、以及政策注意力如何在长期时间序列中迁移等关键学术问题。其核心意义在于将法律语言从定性叙事拓展至可量化、可复现的计算社会科学范式,为立法意图的客观阐释提供了前所未有的数据基础,从而增强了法律研究结论的鲁棒性与普适性。
实际应用
在实际应用中,hansard数据集显著赋能了提升司法公正与民主透明度的技术工具开发。在法律科技领域,其可作为训练法律检索模型的优质语料,辅助律师与法务研究者快速定位特定法案或政策在议会筹备阶段的讨论语境,从而更精准地进行法律解释与论证构建。在公共利益层面,该数据集支持构建议会辩论的可视化仪表盘,使公民社会团体与非政府组织能够追踪民选代表在关键议题上的发言立场与投入程度,从而强化民主问责。此外,语言模型研究者可利用此数据集微调面向法律场景的生成式模型,使其能够依据议会历史语境自动生成法律分析摘要或政策影响评估初稿,最终为低收入与边缘化社区提供更可负担的司法辅助工具。
数据集最近研究
最新研究方向
在计算法学与政治科学前沿,hansard数据集为加拿大立法机构的议会辩论记录提供了标准化、结构化的语料库,支撑起一系列跨学科实证研究。当前热点聚焦于利用大规模文本分析追踪政策议题变迁、识别立法意图中的司法解释线索,并探索语言模型在法律技术原型中的公共应用,尤其意在赋能边缘群体与低收入社区获取司法正义。该数据集的开放获取特性打破了信息壁垒,使得研究者能够系统性地评估民主问责制与法律话语演化,推动了负责任的人工智能在司法和民主治理领域的落地。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务