HaifaCLGroup/KnessetCorpus

Knesset (以色列议会) 进程语料库是一个包含超过3500万句子的希伯来语注释语料库，涵盖1992年至2024年以色列议会的所有会议记录。这个语料库的句子被注释了多种语言信息，包括词性、形态学特征、依存关系和命名实体。同时，它还包含了关于发言人的详细元信息，如人口统计和政治属性。

The Knesset (Israeli Parliament) Proceedings Corpus is an annotated corpus of Hebrew parliamentary proceedings containing over 35 million sentences from all the sessions (plenary and committee) held in the Israeli parliament from 1992 to 2024. The sentences are annotated with various levels of linguistic information, including part-of-speech tags, morphological features, dependency structures, and named entities. They are also associated with detailed meta-information reflecting demographic and political properties of the speakers.

原始信息汇总

Knesset (Israeli Parliament) Proceedings Corpus

数据集描述

Knesset (Israeli Parliament) Proceedings Corpus 是一个包含超过 3200 万条句子的希伯来语议会会议记录的标注语料库。这些记录涵盖了从 1992 年到 2022 年以色列议会的所有（全体会议和委员会）会议记录。句子被标注了多种语言信息层级，包括词性标签、形态特征、依存结构和命名实体。此外，句子还关联了详细的元信息，反映了发言人的社会和政治属性，这些信息基于我们编纂的议会成员和派系的大型数据库。

数据集子集

ALL_Features_Sentences

• name: "all_features_sentences"
• description: 包含语料库中所有句子的样本，以及数据集中可用的所有特征。
• Number of examples: 32,832,205

Non-Morphological_Features_Sentences

• name: "no_morph_all_features_sentences"
• description: 与 ALL_Features_Sentences 相同，但没有形态特征。
• Number of examples: 32,832,205

KnessetMembers

• name: "knessetMembers"
• description: 包含数据集中议会成员及其元数据信息的样本。
• Number of examples: 1,100

Factions

• name: "factions"
• description: 包含数据集中所有派系及其元数据信息的样本。
• Number of examples: 153

Protocols

• name: "protocols"
• description: 包含数据集中所有会议记录及其元数据信息的样本。
• Number of examples: 41,319

Committees_ALL_Features_Sentences

• name: "committees_all_features_sentences"
• description: 包含委员会会议中所有句子的样本，以及数据集中可用的所有特征。
• Number of examples: 24,805,925

Plenary_ALL_Features_Sentences

• name: "plenary_all_features_sentences"
• description: 包含全体会议中所有句子的样本，以及数据集中可用的所有特征。
• Number of examples: 24,805,925

Committees Non-Morphological_Features_Sentences

• name: "no_morph_committee_all_features_sentences"
• description: 与 Committees_ALL_Features_Sentences 相同，但没有形态特征。
• Number of examples: 24,805,925

Plenary Non-Morphological_Features_Sentences

• name: "no_morph_plenary_all_features_sentences"
• description: 与 Plenary_ALL_Features_Sentences 相同，但没有形态特征。
• Number of examples: 24,805,925

数据集实体和字段

Person

• person_id: 人物的唯一标识符。
• first_name: 人物的名字。
• last_name: 人物的姓氏。
• full_name: 人物的全名。
• is_knesset_member: 是否为议会成员。
• gender: 性别。
• email: 电子邮件。
• is_current: 是否为当前议会成员。
• last_updated_date: 最后更新日期。
• date_of_birth: 出生日期。
• place_of_birth: 出生地。
• year_of_aliya: 移民到以色列的年份。
• date_of_death: 死亡日期。
• mother_tongue: 母语。
• religion: 宗教。
• nationality: 国籍。
• religious_orientation: 宗教倾向。
• residence: 居住地。
• factions_memberships: 派系成员信息。
• languages: 语言。
• allSources: 信息来源。
• wikiLink: 维基百科链接。
• notes: 备注。

Faction

• faction_name: 派系名称。
• faction_popular_initials: 派系常用缩写。
• faction_id: 派系唯一标识符。
• active_periods: 活跃期。
• knesset_numbers: 议会会期。
• coalition_or_opposition_memberships: 联盟或反对派成员信息。
• political_orientation: 政治倾向。
• other_names: 其他名称。
• notes: 备注。
• wiki_link: 维基百科链接。

Protocol

• protocol_name: 会议记录名称。
• session_name: 会议名称。
• parent_session_name: 父会议名称。
• knesset_number: 议会会期。
• protocol_number: 会议记录编号。
• protocol_date: 会议日期。
• is_ocr_output: 是否为 OCR 输出。
• protocol_type: 会议记录类型。
• protocol_sentences: 会议记录中的句子。

Sentence

• sentence_id: 句子唯一标识符。
• protocol_name: 会议记录名称。
• speaker_id: 发言人标识符。
• speaker_name: 发言人姓名。
• is_valid_speaker: 发言人是否有效。
• turn_num_in_protocol: 发言顺序。
• sent_num_in_turn: 句子顺序。
• sentence_text: 句子内容。
• is_chairman: 是否为主席。
• morphological_fields: 形态结构。
• factuality_fields: 事实性字段。

All_Features_Sentence

• 结合了 Person、Faction、Protocol 和 Sentence 实体的字段。

许可证

• 许可证: cc-by-sa-4.0

引用

@misc{goldin2024knesset, title={The Knesset Corpus: An Annotated Corpus of Hebrew Parliamentary Proceedings}, author={Gili Goldin and Nick Howell and Noam Ordan and Ella Rabinovich and Shuly Wintner}, year={2024}, eprint={2405.18115}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在议会话语研究的广阔领域中，KnessetCorpus数据集的构建过程体现了对大规模、多维度语料资源的精心设计。该数据集汇集了以色列议会自1992年至2024年间所有全体会议与委员会会议的记录，涵盖超过3500万条句子。构建团队首先从原始文档中提取文本，随后通过自动标注流程为每条句子赋予词性标签、形态特征、依存结构和命名实体等丰富的语言学信息。同时，基于所整理的议员与党派数据库，为每条语料关联了发言者的性别、所属党派、议会届次等人口统计学与政治属性元数据。最终，数据以句子级和协议级两种粒度组织，并以JSONL与Parquet等格式存储，便于研究者按需调用。

特点

该数据集的突出特点在于其多维度的信息融合与精细化的层次结构。除了基本的议会文本内容，每条句子均附有详尽的形态句法标注，为自然语言处理任务提供了坚实的语言学基础。更为独特的是，数据集将文本与发言者的个人背景（如性别、宗教倾向）及政治立场（如左右翼倾向）紧密耦合，使得研究者能够深入探索语言使用与社会政治因素之间的复杂关联。此外，数据集提供了多种子集配置，包括包含完整形态特征的版本与仅保留核心文本的轻量版本，以适应不同计算资源与研究方向的需求。这种兼收并蓄的设计，使其成为分析政治话语、性别差异与党派立场等课题的宝贵资源。

使用方法

使用KnessetCorpus数据集时，研究者可通过HuggingFace Datasets库便捷加载。首先安装datasets库，随后调用`load_dataset`函数，指定数据集名称与所需子集（如`plenary_all_features_sentences`或`committee_protocols`），并设置`streaming=True`以高效处理大规模数据。加载后，每条记录以字典形式呈现，可通过键名如`sentence_text`、`speaker_gender`、`current_faction_name`等访问文本内容与元数据。对于协议级子集，需注意`sentence_text`字段嵌套于`protocol_sentences`列表中，需遍历解构以获取句子序列。此外，用户亦可直接从HuggingFace仓库下载压缩文件，通过Python的json模块逐行解析JSONL文件，实现离线处理。

背景与挑战

背景概述

议会语料库作为政治话语分析与自然语言处理研究的重要资源，长期以来在非英语语言中相对匮乏。由海法大学Gili Goldin等学者联合IAHLT与特拉维夫-雅法学院的研究团队，于2024年构建并发布了KnessetCorpus数据集，旨在填补希伯来语议会文本的空白。该数据集收录了1992年至2024年间以色列议会（Knesset）全体会议与委员会会议的全部议事实录，包含超过3500万句经过深度语言标注的句子，涵盖词性标注、形态特征、依存句法及命名实体识别等多维度信息。此外，数据集还整合了议员人口统计学与政治派系的元数据，为研究政治话语中的性别、派系与意识形态动态提供了前所未有的细粒度资源，对计算社会科学与希伯来语自然语言处理领域产生了深远影响。

当前挑战

该数据集面临的挑战主要体现在两个方面。在领域问题层面，议会语料库需解决的核心挑战是自动解析高度结构化的政治辩论文本，其中包含复杂的会话轮次、议会程序性语言及多发言者交织的语境，这对语义角色标注与话语关系抽取提出了高要求。在构建过程中，研究团队需应对希伯来语形态丰富的语言特性带来的标注复杂性，例如动词与名词的复杂词形变化，同时需从非结构化的原始文档（如PDF与DOC格式）中提取并统一不同时期的会议记录，处理OCR错误与格式不一致性问题。此外，整合跨越32年的议员元数据涉及大量历史信息的对齐与消歧，确保人物、派系与时间线的准确关联，构成了数据清洗与验证的另一重挑战。

常用场景

经典使用场景

KnessetCorpus作为以色列议会（Knesset）自1992年至2024年间全体会议与委员会议事的全面语料库，其经典使用场景聚焦于希伯来语自然语言处理的深度研究。研究者可借助其超过3500万句的规模，结合词性标注、形态特征、依存句法及命名实体等多层级语言学注释，开展针对政治话语的文本分类与生成任务。该语料库同时提供发言人的详尽人口统计学与政治属性元数据，使得基于性别、派系、政治立场等维度的语言模式分析成为可能，为计算语言学与政治学交叉领域奠定了坚实的数据基础。

衍生相关工作

围绕KnessetCorpus已衍生出一系列具有影响力的经典工作。其中，利用其形态句法注释训练的高性能希伯来语依存句法分析器，显著提升了低资源语言在通用依存树库上的解析精度。同时，基于该数据集构建的议会发言人生成模型，在保留政治立场特征的前提下实现了高保真的文本续写。此外，结合发言人性别与派系元数据的偏见检测研究，揭示了议会话语中隐含的刻板印象模式，为公平性自然语言处理提供了重要的实证案例。这些工作不仅验证了语料库的学术价值，更确立了其作为希伯来语计算语言学基准资源的地位。

数据集最近研究

最新研究方向

KnessetCorpus作为以色列议会近三十年（1992-2024）希伯来语会议记录的全面语料库，在当前自然语言处理与政治话语分析交叉领域展现出前沿价值。该数据集涵盖超过3500万句子的全会与委员会记录，不仅提供词性标注、形态特征、依存句法及命名实体等丰富语言学注释，更通过详尽的议员与党派元数据实现了人口统计学与政治属性的深度关联。近期研究热点聚焦于利用该语料库探索议会话语中的性别表征差异、党派意识形态演变以及政治修辞策略的历时性变迁。结合以色列社会当前关于司法改革、族群关系等热点政治议题的激烈辩论，此数据集为计算社会科学研究者提供了前所未有的机会，以量化方式解析政治权力结构在语言层面的投射，推动了从文本挖掘到政治行为预测的多学科交叉创新。