community-datasets/hrwac

HrWac数据集是一个克罗地亚语的单语语料库，主要用于文本生成和掩码语言建模任务。该数据集通过爬取.hr顶级域名构建，并进行了去重、规范化、词法标注和词形还原等处理。每个段落都包含URL、域名和语言识别（克罗地亚语与塞尔维亚语）的元数据。数据集的结构包括一个名为sentence的字段，表示句子字符串。数据集的许可证为CC-BY-SA 3.0。

The HrWac dataset is a monolingual Croatian corpus primarily intended for text generation and masked language modeling tasks. This dataset was constructed by crawling the .hr top-level domain, and underwent post-processing including deduplication, normalization, lexical annotation, and lemmatization. Each paragraph contains metadata including URL, domain name, and language identification results for Croatian and Serbian. The dataset structure includes a field named `sentence` which represents the sentence string. The dataset is licensed under CC-BY-SA 3.0.

原始信息汇总

数据集卡片 for HrWac

数据集描述

数据集摘要

克罗地亚网络语料库 hrWaC 是通过在2011年和2014年抓取 .hr 顶级域名构建的。该语料库在段落级别进行了近似去重，通过音标恢复进行了规范化，进行了形态句法注释和词形还原。语料库按段落进行了洗牌。每个段落包含有关URL、域和语言识别（克罗地亚语与塞尔维亚语）的元数据。

支持的任务和排行榜

[更多信息需要]

语言

数据集是克罗地亚语的单语种。

数据集结构

数据实例

[更多信息需要]

数据字段

• sentence: 句子作为字符串

数据分割

[更多信息需要]

数据集创建

策划理由

[更多信息需要]

源数据

初始数据收集和规范化

[更多信息需要]

源语言生产者是谁？

[更多信息需要]

注释

注释过程

[更多信息需要]

注释者是谁？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据集的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

[更多信息需要]

许可信息

数据集在 CC-BY-SA 3.0 许可下发布。

引用信息

@misc{11356/1064, title = {Croatian web corpus {hrWaC} 2.1}, author = {Ljube{v s}i{c}, Nikola and Klubi{v c}ka, Filip}, url = {http://hdl.handle.net/11356/1064}, note = {Slovenian language resource repository {CLARIN}.{SI}}, copyright = {Creative Commons - Attribution-{ShareAlike} 4.0 International ({CC} {BY}-{SA} 4.0)}, year = {2016} }

贡献

感谢 @IvanZidov 添加此数据集。

搜集汇总

数据集介绍

构建方式

HrWac数据集是针对克罗地亚语构建的大规模网络语料库，其构建过程始于对.hr顶级域名的系统性爬取，分别于2011年和2014年两次采集。原始数据经过段落级别的近似去重处理，随后通过变音符号恢复进行归一化，并完成了词形句法标注和词形还原。最终，语料库以段落为单位进行随机打乱，每个段落附带了URL、域名及语言识别（克罗地亚语与塞尔维亚语）等元数据信息，从而确保了语料的结构化与可用性。

特点

该数据集以单语克罗地亚语为语言基础，规模宏大，训练集包含约17.37亿个句子样本，总数据量超过43.99GB。其显著特点在于精细的预处理流程：通过段落级去重有效降低了冗余，变音符号恢复保障了文本的规范性，而词形句法标注与词形还原则为下游语言模型训练提供了丰富的语言学特征。数据集采用CC-BY-SA 3.0许可协议，支持开放共享与学术研究。

使用方法

HrWac数据集在HuggingFace平台上以标准格式提供，用户可通过datasets库便捷加载。其主要支持文本生成与掩码填充等自监督学习任务，适用于语言建模和掩码语言建模场景。数据集仅包含一个'train'分割，特征字段为'sentence'，存储字符串类型的句子。用户可直接将其用于预训练克罗地亚语模型，或作为微调任务的语料基础，无需额外标注即可开展实验。

背景与挑战

背景概述

在自然语言处理领域，大规模、高质量的语料库是推动语言模型发展的基石。HrWac数据集由Nikola Ljubešić和Filip Klubička于2011年首次构建，并于2014年更新，旨在为克罗地亚语提供首个大规模网络语料资源。该数据集通过对.hr顶级域名的爬取，收集了超过17亿条句子，总规模达数十GB，填补了克罗地亚语在预训练语言模型和数据驱动研究中的空白。其核心研究问题在于如何从非结构化的网络文本中提取并标准化克罗地亚语语料，以支持语言建模和掩码语言建模等任务。HrWac的发布显著推动了巴尔干地区低资源语言的自然语言处理研究，成为克罗地亚语NLP领域的重要基准资源。

当前挑战

HrWac数据集面临的核心挑战源自其网络语料的天然特性与低资源语言的构建困境。首先，在领域问题层面，克罗地亚语作为低资源语言，缺乏足够的高质量标注数据，HrWac虽提供大规模无监督文本，但难以直接支持需要精细语义理解的任务，如命名实体识别或情感分析。其次，构建过程中面临多重技术障碍：网络爬取需应对域名多样性和内容噪音，近重复段落去重算法在段落级别上可能损失上下文连贯性，而变音符号恢复与形态句法标注的准确性受限于克罗地亚语复杂的屈折形态。此外，2011年与2014年两版数据的时效性差异导致语言演变表征不一致，且语料隐含的网络偏见（如地域或话题偏向）可能影响下游模型的泛化能力。

常用场景

经典使用场景

HrWac数据集作为克罗地亚语大规模网络语料库，在自然语言处理领域中常被用于语言建模与掩码语言建模任务。研究者利用其包含的近17亿条句子，通过无监督预训练方式学习克罗地亚语的词汇、句法及语义特征，从而构建出能够捕捉该语言独特表达规律的基础模型。该数据集的单语特性与网络文本多样性，使其成为训练克罗地亚语词向量、句嵌入以及上下文感知表示学习的重要基石。

实际应用

在实际应用中，HrWac赋能了克罗地亚语智能系统的开发，包括搜索引擎的查询理解、拼写检查工具的上下文纠错以及机器翻译模型的领域自适应。企业借助该语料训练的情感分析模型，可精准识别克罗地亚网络舆情中的用户态度；而基于其构建的对话系统，则在客服与教育场景中实现了更自然的人机交互。该数据集还支撑了克罗地亚语语音识别系统的语言模型优化，提升了非正式口语的转写准确率。

衍生相关工作

围绕HrWac衍生了一系列经典工作，例如基于其训练的BERTić与CroSloEngual BERT等克罗地亚语预训练语言模型，显著提升了命名实体识别与依存句法分析等下游任务性能。此外，研究者利用该语料构建了克罗地亚语词性标注器与语义角色标注系统，并探索了跨语言迁移学习在斯拉夫语族中的应用。这些工作不仅验证了HrWac作为基础语料的泛化能力，也为其他低资源语言的大规模语料建设提供了可复现的方法论参考。