Polygl0t/gigakriya-v1

GigaKriya-v1是一个大型孟加拉语文本语料库，包含约250亿个标记。该数据集经过过滤，并使用分类器对教育内容和毒性进行了标注，旨在用于训练孟加拉语的语言模型和其他自然语言处理（NLP）应用。作为Polyglot项目的一部分，它致力于为代表性不足的语言开发多语言资源和模型。数据集包含两个子集：default子集包含经过完整过滤流程（包括文本提取、语言识别、启发式质量过滤、去重和学习过滤）的文档，并移除了短于50个标记或毒性评分大于3的文档；excluded子集则包含因毒性被排除的文档，可用于毒性检测和缓解研究。数据字段包括孟加拉语文本、来源、子集名称、唯一标识符（MD5哈希）、标记计数、教育质量评分（1-5分，表示非教育性到高度教育性）、整数化教育评分、毒性评分（1-5分，表示非毒性到高度毒性）和整数化毒性评分。数据来源包括Common Crawl网络爬虫和多个Hugging Face数据集，截止日期为2025年12月。

GigaKriya-v1 is a large-scale Bengali text corpus containing approximately 25 billion tokens. This corpus has been filtered and annotated for educational content and toxicity using classifiers, and is intended for training Bengali language models and other natural language processing (NLP) applications. As part of the Polyglot Project, it aims to develop multilingual resources and models for underrepresented languages. The corpus includes two subsets: the default subset contains documents that have undergone the full filtering pipeline, including text extraction, language identification, heuristic quality filtering, deduplication, and learned filtering, and excludes documents shorter than 50 tokens or with a toxicity score greater than 3; the excluded subset contains documents excluded due to toxicity, which can be used for toxicity detection and mitigation research. The data fields include Bengali text, source, subset name, unique identifier (MD5 hash), token count, educational quality score (1-5 points, ranging from non-educational to highly educational), integerized educational score, toxicity score (1-5 points, ranging from non-toxic to highly toxic), and integerized toxicity score. The data sources include Common Crawl web crawler data and multiple Hugging Face datasets, with a cutoff date of December 2025.

搜集汇总

数据集介绍

构建方式

GigaKriya-v1数据集的构建融合了多元数据源与精细化的过滤流程。其原始资料既包含来自CommonCrawl的网页抓取数据，也囊括了HuggingFace平台上众多已有的孟加拉语数据集，如Titulm、CCNews、FineWeb-2等。构建之初，系统运用Trafilatura库从WARC文件中提取文本，并结合FastText与GlotLID模型进行双重语言识别，以确保语料的纯正性。随后，针对孟加拉语的语言特性，采纳了源自FineWeb-2与MassiveText的启发式质量过滤器，对文本进行去噪与格式化处理，并利用MinHash算法消除冗余。最后，采用“大语言模型作为评判者”（LLM-as-a-Judge）的范式，使用Qwen2.5-32B-Instruct模型对文本的教育价值与毒性进行评估，并据此训练了两个专用的BanglaBERT分类器，为语料库中的每条文本赋予了教育评分与毒性评分。

特点

该数据集的核心特色在于其规模宏大且附带了精细的质量注释。GigaKriya-v1总计包含约250亿个token，分为默认（default）和被排除（excluded）两个子集，默认子集中汇聚了超过4033万条经过严格筛选的高质量孟加拉语文档，而被排除子集则保留了因毒性评分过高而被滤除的约130万条文本，为后续的毒性研究提供了宝贵资源。每条文本都不仅包含原始文本、来源与唯一标识符，更关键的是具备基于BanglaBERT模型输出的教育质量评分（edu_score）与毒性评分（toxic_score），评分范围均为1至5，并附有对应的整数版本。这种双层质量标注机制，使得研究者能够根据任务需求灵活筛选不同教育程度与安全等级的语料，极大地提升了数据集的实用价值与研究潜力。

使用方法

使用GigaKriya-v1数据集非常便捷，它完美集成于HuggingFace的datasets库。用户可以通过一行代码`load_dataset('Polygl0t/gigakriya-v1', 'default', split='train')`加载主体语料，或通过指定`'excluded'`配置名来加载被排除的文本。为应对庞大的数据量，datasets库支持流式加载模式，只需设置参数`streaming=True`，即可在不完全下载全部79GB数据的情况下进行迭代训练或分析。数据集主要适用于文本生成任务中的语言模型预训练与微调。得益于其丰富的注释信息，研究者能够基于`edu_score`或`toxic_score`字段进行条件式数据选取，例如，仅筛选教育评分高于特定阈值且毒性评分较低的文本用于训练一个更加安全和知识密集型的模型，从而满足不同应用场景对语料质量与安全性的严苛要求。

背景与挑战

背景概述

GigaKriya-v1是由Polyglot项目团队于2025年构建的大规模孟加拉语文本语料库，隶属于波恩大学的研究体系。该数据集旨在缓解低资源语言在自然语言处理领域中高质量数据匮乏的困境，通过整合CommonCrawl网页快照与Hugging Face平台上逾二十个开源数据集，经Trafilatura文本抽取、FastText与GlotLID双重语言识别、MinHash去重及启发式质量过滤等严格流水线处理，最终汇聚成约250亿词符的庞大数据集。其核心研究问题聚焦于为孟加拉语语言模型训练与下游NLP应用提供兼具教育价值与安全性的文本资源，同时利用Qwen2.5-32B-Instruct大语言模型进行教育质量与毒性注释，开创性地将LLM-as-a-Judge范式引入低资源语料库构建，对推动孟加拉语自然语言处理领域的发展具有里程碑意义。

当前挑战

GigaKriya-v1所解决的领域挑战主要包括孟加拉语作为低资源语言在高质量预训练语料方面的严重匮乏，现有网络数据噪声大、教育价值参差不齐且内容毒性难以控制，直接制约语言模型的性能与安全性。在构建过程中，团队面临多重技术挑战：语言识别需要应对孟加拉语与相近语言的混淆，启发式过滤需针对孟加拉语的语言特性进行参数调优；去重环节要处理跨数据源的海量冗余文本；毒性过滤更是孟加拉语网络数据中的棘手问题，迫使团队创新性地将高毒性文档保留为独立子集，为后续毒性检测研究提供素材。此外，LLM-as-a-Judge注释过程中大模型对孟加拉语教育质量评估的准确性验证，以及从教师模型到学生分类器的知识蒸馏效率，均构成显著的技术难点。

常用场景

经典使用场景

GigaKriya-v1作为孟加拉语领域迄今规模最为宏大的文本语料库，其核心应用场景在于支撑大规模语言模型的预训练与持续学习。该数据集历经严苛的过滤与标注流程，囊括了约250亿词元的多元文本资源，涵盖网络爬取、新闻、百科及学术文献等丰富来源，为构建高表现力的孟加拉语基础模型提供了坚实的数据基石。研究者可借助其蕴含的教育质量与毒性评分注解，对训练数据进行精细化的筛选与权重分配，从而提升模型在文本生成、知识推理等下游任务中的鲁棒性与安全性。

衍生相关工作

GigaKriya-v1的诞生还催生了若干关键的附属资源与工具链，为孟加拉语NLP社区的繁荣提供了技术杠杆。其衍生工作包括专用于孟加拉语的教育质量分类器与毒性分类器，这些模型可独立应用于其他语料的清洗与评估任务。此外，训练过程中产出的LLM标注数据集（如bengali-edu-qwen-annotations）也为后续开展关于大模型评估能力与对齐策略的元研究提供了宝贵素材。这些工作共同构成了一个从数据构建、模型训练到评估应用的健康生态闭环。

数据集最近研究

最新研究方向

GigaKriya-v1数据集聚焦于低资源语言孟加拉语的大规模文本语料库构建，其前沿方向在于融合多阶段启发式过滤与基于大语言模型的学习型标注技术，以提升语料质量。该数据集采用FineWeb-2流水线，结合URL黑名单、FastText与GlotLID双重语言识别、MinHash去重及自定义格式清洗，并创新性地引入Qwen2.5-32B作为裁判，对文本进行教育价值与毒性评分，进而训练BanglaBERT分类器进行自动化筛选。这响应了当前NLP领域对低资源语言高质量数据稀缺的热点挑战，通过保留毒性过滤子集，为孟加拉语的安全内容研究提供了独特资源。其意义在于建立了可复现的语料精炼范式，显著推动了孟加拉语语言模型的预训练基础，并启发其他低资源语言开展类似的数据质量跃迁工作。