vngrs-ai/vngrs-web-corpus

vngrs-web-corpus是一个混合数据集，由OSCAR-2201和mC4的土耳其语部分清理后组成。该数据集最初是为训练VBART创建的，后来用于训练TURNA。数据集包含50.3M页面和25.33B个VBART分词器分词的标记。数据集的结构包括文本内容、来源语料库和原始索引。数据集主要用于预训练语言模型和词表示。由于数据集内容来自开放网络，经过一系列规则和启发式方法清理，但未考虑内容的语义，因此在内容不相关或不适当的情况下应进行标记和移除。数据集仅用于研究目的，未经相关当局同意不得用于其他用途。

原始信息汇总

数据集概述

数据集基本信息

• 名称: vngrs-web-corpus
• 语言: 土耳其语
• 许可证: cc-by-nc-sa-4.0
• 创建目的: 用于训练语言模型和词表示，最初为训练VBART模型而创建，后用于训练TURNA模型。

数据集内容

• 特征:
  • text[字符串]: 数据集的主要文本内容
  • corpus[字符串]: 数据来源的语料库
  • original_id[整数]: 数据在源语料库中的原始索引
• 拆分:
  • 训练集: 包含50336214个示例，总字节数为141807806497

数据集大小

• 下载大小: 84893303434字节
• 数据集大小: 141807806497字节

数据集结构

• 数据文件路径: data/train-*

数据集使用

• 主要用途: 预训练语言模型和词表示

数据集风险与限制

• 内容来源: 网络爬取，经过清洗规则处理，但不考虑内容的语义
• 使用限制: 仅限于研究用途，其他用途需获得相关授权

引用信息

• 引用文献: VBART论文

• 引用格式:

  @article{turker2024vbart, title={VBART: The Turkish LLM}, author={Turker, Meliksah and Ari, Erdi and Han, Aydin}, journal={arXiv preprint arXiv:2403.01308}, year={2024} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，大规模、高质量的语料库是预训练语言模型的核心基石。vngrs-web-corpus 数据集由 VNGRS-AI 团队精心构建，旨在为土耳其语模型提供丰富的训练资源。该数据集融合了来自 OSCAR-2201 和 mC4 两个公开语料库中的土耳其语文本片段，并经过严格的清洗流程处理。具体的清洗策略与规则在 VBART 论文的附录 A 中详细阐述，涉及去重、过滤噪声及低质量内容等步骤，最终汇聚成包含约 5033 万个页面、经 VBART 分词器处理后达 253.3 亿词元的庞大数据集合。

特点

该数据集的核心特点在于其混合来源与专业化清洗，确保了内容的广泛覆盖与高质量。数据集中每条记录包含三个字段：'text' 字段存储清洗后的主要文本内容，'corpus' 字段标识该文本源自 OSCAR 还是 mC4 语料库，'original_id' 字段则保留了其在原始语料库中的唯一索引，便于溯源与交叉验证。数据集仅包含土耳其语文本，并采用 CC-BY-NC-SA-4.0 许可协议，适用于学术研究场景。其构建初衷是为 VBART 和 TURNA 等土耳其语大语言模型提供预训练数据，展现了在特定语言领域的深度优化。

使用方法

vngrs-web-corpus 数据集的主要用途是用于预训练语言模型及词向量表示。用户可通过 Hugging Face Datasets 库直接加载，其默认配置为 'default'，训练集数据以分片形式存储于 'data/train-*' 路径下。使用时需注意，该数据集源自网络爬取内容，虽经清洗但未对语义进行审核，可能存在不相关或不恰当的内容，研究人员应在使用前进行必要的过滤与审查。建议仅将数据集用于研究目的，并引用 VBART 论文作为数据来源的学术归属。

背景与挑战

背景概述

在自然语言处理领域，大规模高质量语料库的构建是预训练语言模型成功的基石。vngrs-web-corpus数据集由VNGRS-AI团队于2024年创建，核心研究问题在于为土耳其语语言模型提供纯净且规模庞大的训练数据。该数据集融合了OSCAR-2201与mC4中经过严格清洗的土耳其语子集，包含逾5000万网页与250亿词元，专为VBART与TURNA等土耳其语大模型的预训练而设计。其发布不仅填补了土耳其语开源语料库的空白，更通过系统性清洗流程（详见VBART论文附录A）为低资源语言的数据构建树立了标杆，对推动土耳其语NLP研究具有里程碑意义。

当前挑战

该数据集面临的核心挑战首先在于解决土耳其语作为低资源语言的领域困境——公开语料库中土耳其语占比极低，且网络爬取内容混杂大量噪声、重复文本与非标准表达，这要求清洗策略需在保留语言多样性与去除劣质数据间取得精妙平衡。其次，构建过程中需应对跨语料库（OSCAR与mC4）的格式统一难题，包括处理异构编码、过滤非土耳其语片段以及消除潜在偏见，而基于规则与启发式的清洗方法虽高效却无法完全规避语义层面的不当内容，遗留了数据偏差与安全性隐患，需后续研究者持续迭代优化。

常用场景

经典使用场景

vngrs-web-corpus 作为专为土耳其语设计的大规模混合语料库，其最经典的使用场景在于预训练语言模型与词表示学习。该数据集融合了OSCAR-2201与mC4中经过精细清洗的土耳其语子集，包含逾五千万网页与两百五十亿子词单元，为模型提供了丰富且高质量的语义基础。研究者可借助该语料库训练自回归或编码器-解码器架构的神经网络，从而捕捉土耳其语的形态句法特征与长程依赖关系，推动低资源语言自然语言处理技术的突破。

解决学术问题

该数据集致力于解决土耳其语等低资源语言在自然语言处理研究中数据匮乏的核心难题。在学术领域，vngrs-web-corpus 填补了高质量土耳其语大规模语料库的空白，使得研究者能够开展跨语言迁移学习、多任务联合训练以及零样本推理等前沿课题。其清洗流程的系统性公开，也为语料库构建方法学提供了可复现的基准，促进了数据驱动型语言模型在形态丰富语言中的公平性与鲁棒性研究。

衍生相关工作

vngrs-web-corpus 的诞生直接催生了多项具有影响力的学术工作，其中最引人注目的是VBART与TURNA系列模型。VBART作为土耳其语首个大规模预训练序列到序列模型，其训练过程完全依托于该语料库，并在多种下游任务中刷新了性能记录；TURNA则在此基础上进一步探索了土耳其语的文本生成与理解能力。这些工作不仅验证了数据集的有效性，还为后续的土耳其语词嵌入、对话系统与跨语言迁移研究奠定了坚实的资源与实验基础。