arnastofnun/IGC-2022-1
收藏Hugging Face2025-05-28 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/arnastofnun/IGC-2022-1
下载链接
链接失效反馈官方服务：
资源简介：
冰岛Gigaword语料库（IGC）版本22.10包含8个语料库，总计近24亿字。这些语料库包括开放许可证和受限许可证的部分，涵盖了新闻、博客、议会数据、科学期刊、维基百科等多种类型的数据。每个子语料库已被转换为适合LLM训练的jsonl格式，并且可以通过HuggingFace数据集单独加载。语料库的质量通过错误率和外语句子比例进行评估，分为A-C三个等级。
The Icelandic Gigaword Corpus (IGC) is a large corpus containing nearly 2.4 billion words, covering various domains such as news, law, social media, blogs, Wikipedia, and scientific journals. The subcorpora of this corpus are converted into jsonl format, suitable for LLM training. Each subcorpus has detailed quality assessments, domain classifications, language, and version information.
提供机构：
arnastofnun
