community-datasets/hrwac

HrWac数据集是一个克罗地亚语的单语语料库，主要用于文本生成和掩码语言建模任务。该数据集通过爬取.hr顶级域名构建，并进行了去重、规范化、词法标注和词形还原等处理。每个段落都包含URL、域名和语言识别（克罗地亚语与塞尔维亚语）的元数据。数据集的结构包括一个名为sentence的字段，表示句子字符串。数据集的许可证为CC-BY-SA 3.0。

原始信息汇总

数据集卡片 for HrWac

数据集描述

数据集摘要

克罗地亚网络语料库 hrWaC 是通过在2011年和2014年抓取 .hr 顶级域名构建的。该语料库在段落级别进行了近似去重，通过音标恢复进行了规范化，进行了形态句法注释和词形还原。语料库按段落进行了洗牌。每个段落包含有关URL、域和语言识别（克罗地亚语与塞尔维亚语）的元数据。

支持的任务和排行榜

[更多信息需要]

语言

数据集是克罗地亚语的单语种。

数据集结构

数据实例

[更多信息需要]

数据字段

• sentence: 句子作为字符串

数据分割

[更多信息需要]

数据集创建

策划理由

[更多信息需要]

源数据

初始数据收集和规范化

[更多信息需要]

源语言生产者是谁？

[更多信息需要]

注释

注释过程

[更多信息需要]

注释者是谁？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据集的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

[更多信息需要]

许可信息

数据集在 CC-BY-SA 3.0 许可下发布。

引用信息

@misc{11356/1064, title = {Croatian web corpus {hrWaC} 2.1}, author = {Ljube{v s}i{c}, Nikola and Klubi{v c}ka, Filip}, url = {http://hdl.handle.net/11356/1064}, note = {Slovenian language resource repository {CLARIN}.{SI}}, copyright = {Creative Commons - Attribution-{ShareAlike} 4.0 International ({CC} {BY}-{SA} 4.0)}, year = {2016} }

贡献

感谢 @IvanZidov 添加此数据集。