czech_korpus_kala

捷克作者识别语料库（Kala）是一个为捷克文本自动作者识别研究创建的专用数据集。该数据集收集了来自五个捷克新闻门户网站（Echo24、Stisk online、Deník Referendum、Deník.cz、Aktuálně.cz）的公开新闻文本，旨在支持作者归属、作者验证和作者聚类等任务。数据集包含524位作者的17,213个文档，每位作者贡献15至50个文档，确保数据平衡。在预处理阶段，短文本（少于1800字符或300单词）被过滤，最终保留的文本需满足至少1500字符或250单词的条件，并经过针对各来源的清理和规范化处理。该数据集主要适用于风格测量、作者识别、文本分类和捷克语自然语言处理研究。需要注意的是，每位作者仅来自单一新闻来源，且数据集仅包含新闻类文本。使用时应尊重原始来源的条款和版权，仅限研究用途。

原始信息汇总

数据集名称

Czech Authorship Recognition Corpus (Kala)

任务类别

• 文本分类（text-classification）

语言

• 捷克语（cs）

许可证

• Apache-2.0

数据集描述

该数据集是为自动识别捷克语文本作者身份的研究而创建的，包含从公开在线来源获取的捷克新闻文本，适用于以下任务：

• 作者身份归属（authorship attribution）
• 作者身份验证（authorship verification）
• 作者身份聚类（authorship clustering）

数据来源

文本来源于以下五个捷克门户网站：

• Echo24
• Stisk online
• Deník Referendum
• Deník.cz
• Aktuálně.cz

数据集规模

• 来源门户：5个
• 作者总数：524位
• 文档总数：17,213篇
• 每位作者最少文档数：15篇
• 每位作者最多文档数：50篇

仓库结构

• raw/：原始采集的文本
• clean/：清洗后用于实验的文本

预处理

• 采集时过滤掉少于1800个字符或300个单词的文本。
• 最终数据集中仅保留满足以下至少一个条件的文本：1500个字符或250个单词。
• 根据不同来源分别进行清洗和标准化。

预期用途

数据集主要用于以下研究领域：

• 风格计量学（stylometry）
• 作者身份识别（authorship recognition）
• 文本分类（text classification）
• 捷克语自然语言处理（NLP）

数据集限制

• 每位作者仅来自单一来源门户。
• 数据集仅包含新闻类文本。

法律与伦理说明

数据集由公开可获取的文本创建，使用时需遵守原始来源门户的使用条款和相关版权法。数据集仅供研究用途。

引用

若使用本数据集，请引用以下硕士论文： KALA, Adam. Automatické rozpoznání autorství. Online. Diplomová práce. Brno: Masarykova univerzita, Fakulta informatiky. 可从 https://is.muni.cz/th/am3la/ 获取。

搜集汇总

数据集介绍

构建方式

czech_korpus_kala数据集源于一项专注于捷克语文本作者自动识别的硕士研究工作。其原始素材采撷自Echo24、Stisk online、Deník Referendum、Deník.cz与Aktuálně.cz五个公众可及的新闻门户网站，内容体裁皆为新闻评论。数据构建历经双重过滤：采集阶段剔除字符数低于1800或词语数低于300的文本；在清洗与标准化环节，进一步筛选出满足至少1500字符或250词语条件者，并对各来源进行差异化归一处理，最终形成涵盖524位作者、共计17213篇文档的语料库，每位作者贡献15至50篇不等的文本。

特点

该数据集专为捷克语文本的作者归属识别、作者验证及作者聚类等风格计量学任务而设计，具有明确的领域针对性。其核心特质在于多源异构性——文本取自五个风格迥异的新闻平台，同时严格确保每位作者仅隶属于单一来源，避免了跨域干扰。数据集规模适中，每位作者的最低文档数设定为15篇，为统计建模提供了可靠支撑，且清洗后的文本长度标准化处理为下游任务降低了预处理复杂度。

使用方法

数据集以原始文本与清洗后文本两种形态分别存于`raw/`和`clean/`目录下，研究者可依实验需求直接选用。在应用层面，该数据集主要服务于文本分类任务，支持基于预训练语言模型或传统特征工程的方法。使用者可将其划分为训练集与测试集以执行作者归属或验证实验，亦可利用多作者结构开展聚类分析。需注意数据仅涵盖捷克语新闻文本，且引用时应标注其来源硕士论文以尊重学术贡献。

背景与挑战

背景概述

在自然语言处理与计算文体学交叉领域中，作者身份识别（authorship recognition）是一项具有深远理论与应用价值的研究课题，其核心目标是通过文本的语言特征推断出匿名或争议文本的作者身份。捷克作者身份识别语料库（Czech Authorship Recognition Corpus, by Kala）由Adam Kala在其硕士论文工作中构建，研究机构为马萨里克大学信息学院，创建时间大约在2023年前后。该数据集聚焦于捷克语新闻文本，涵盖Echo24、Deník Referendum等五大新闻门户，包含524位作者的17,213篇文档，每位作者至少拥有15篇、至多50篇文本，为作者归属、作者验证及作者聚类任务提供了系统化的实验材料。该数据集的发布填补了捷克语在作者身份识别领域大规模标注资源的空白，对中欧语言计算文体学的发展、低资源语言的作者分析模型评估以及跨语种风格迁移研究具有重要推动力。

当前挑战

该数据集的设计与构建面临多重挑战。在领域问题层面，作者身份识别任务需克服文本长度不均、写作风格随主题与环境变化导致的风格漂移，以及捷克语特有的形态丰富性带来的特征稀疏问题；此外，数据集仅包含新闻语体且每位作者单一来源，限制了模型对跨语体、跨领域作者风格泛化能力的评估。在构建过程中，挑战包括从五个门户网站大规模爬取并清洗数据，需严格过滤短于1800字符或300词的噪音文本，而后在最终版本中保留满足1500字符或250词阈值的文档；不同来源的格式与编码差异还要求定制化归一化处理，同时需妥善处理作者版权与数据公开合法性，确保仅使用公开文本并尊重原始平台使用条款，最终以Apache-2.0许可发布以促进学术共享。

常用场景

经典使用场景

Czech Authorship Recognition Corpus (Kala) 是面向捷克语文本作者识别任务而构建的专用数据集，广泛应用于计算文体学与自然语言处理领域。该数据集汇聚了来自 Echo24、Stisk online 等五个捷克公共新闻门户的公开评论文章，收录 524 位作者的逾 1.7 万篇文档，确保每位作者至少拥有 15 篇、至多 50 篇作品，为细粒度作者归属分析提供了充裕且均衡的训练样本。经典使用场景涵盖三种核心任务：作者归属（给定待测文本，判定其所属作者）、作者验证（判断两篇文本是否出自同一作者），以及作者聚类（将无标注文档按作者身份自动分组）。由于语种稀缺性、文本体裁统一性（均为新闻评论）与预处理标准化（如过滤短文本），该数据集成为捷克语计算文体学实验的标杆资源。

衍生相关工作

基于这个数据集，学术界催生了一系列拓展性研究工作。在算法层面，研究者尝试将基于 Transformer 的预训练模型（如 Czech BERT、RobeCzech）与传统的支持向量机（SVM）结合，在作者归属任务上刷新了性能指标。同时，该数据集被用于探索对抗性学习策略下的作者匿名化与去匿名化博弈，推动了作者隐私保护与身份揭示两方面的理论进展。此外，部分工作将该语料作为多任务学习的基准，将作者识别与情感分析、新闻源分类等任务联合训练，验证了跨任务特征共享的有效性。在语言学层面，基于该语料的研究揭示了捷克语中特定功能词、标点符号使用频率及平均句长等微观特征如何作为稳定的作者风格印记。这些衍生成果不仅深化了对计算文体学的理解，也为其他形态丰富语言的作者识别研究提供了方法借鉴。

数据集最近研究

最新研究方向

捷克语作者身份识别语料库（Czech Authorship Recognition Corpus, Kala）聚焦于捷克语文本的自动作者归属、验证与聚类任务，近期研究前沿集中于将深度学习模型（如Transformer架构）与细粒度文体特征相结合，以提升低资源语言下的作者识别精度。伴随数字出版与虚假信息检测需求的激增，该数据集为捷克语社交媒体、新闻文章等短文本的溯源与真实性验证提供了标准化基准，有力推动了多作者场景下跨领域鲁棒性算法的开发，对保护知识产权和遏制匿名恶意传播具有深远意义。