iatpp/digitaldemocracy-2015-2018

该数据集包含美国四个最大州（加利福尼亚、德克萨斯、纽约和佛罗里达）的州立法机构的全面会议记录，主要来自公共委员会听证会的转录内容。数据集以CSV文件格式提供，包含超过160万条演讲记录，涉及约116,000名独立识别的演讲者。数据集的质量被认为非常高，因为每个自动转录的发言都经过了人工验证和编辑。数据集的历史背景显示，它是由加州理工学院的先进技术与公共政策研究所开发的，作为“数字民主”政府透明度项目的一部分。

This corpus contains comprehensive proceedings of the state legislature in four largest US States: California, Texas, New York and Florida. It includes two full sessions for California (2015-2016 and 2017-2018 sessions) and only the 2017-2018 session for the other three states. The proceedings are mainly transcripts of public committee hearings and floor sessions of the legislature, derived from videos released by the legislature and transcribed and annotated by the project team. The dataset also provides speaker identities, committees, bills, sessions, hearings, and links to hosted videos. The format is a series of CSV files resembling relational database tables for utterances, people, committees, bills, hearings, discussions, and videos. The corpus contains over 1.6 million speeches spoken by about 116,000 individually identified speakers in four states. The quality of the corpus is considered high as each auto-transcribed utterance was verified and edited by human annotators, although there is no official transcript record from the states to verify against.

原始信息汇总

数据集概述

数据集内容

• 涵盖范围：包含美国四个最大州（加利福尼亚州、德克萨斯州、纽约州和佛罗里达州）的州立法会议记录。
• 时间范围：
  • 加利福尼亚州：2015-2016 和 2017-2018 两个完整会期。
  • 其他三州：仅包含 2017-2018 会期。
• 内容类型：主要为立法会议的公开委员会听证会和议会会议的文字记录，包括演讲、发言人身份、委员会、法案、会议、听证会及视频链接。
• 数据格式：一系列 CSV 文件，类似于关系数据库表，包括话语、人员、委员会、法案、听证会、讨论和视频。
• 数据量：超过 160 万条演讲，由约 11.6 万名独立识别的发言人发表，总数据量约 142MB（压缩），解压后超过 900MB。

数据质量

• 质量保证：所有自动转录的演讲均经过人工验证和编辑，由项目培训的人员进行质量检查和标注。
• 局限性：由于美国各州不生产官方文字记录，无法与权威来源进行验证，且没有其他项目生产相同数据。

数据集历史

• 项目背景：由 Cal Poly 高级技术和公共政策研究所开发，作为“数字民主”政府透明度项目的一部分，时间为 2015-2018 年。
• 项目重启：2022 年项目重启，并成为非营利新闻机构 CalMatters 的一部分，覆盖加利福尼亚州 2023-2024 立法会期。

联系信息

• IATPP：https://iatpp.calpoly.edu
• Foaad Khosmood：https://foaad.net (foaad -at- calpoly -dot- edu)