dclm-baseline-1.0

DCLM-baseline提供了一个用于预训练的4T tokens/3B文档数据集，在语言模型基准测试中表现出色。该数据集包含文本、URL以及WARC元数据等信息，通过对Common Crawl数据进行清洗、过滤和去重等步骤构建而成。DCLM-baseline旨在作为DCLM基准测试的研究基线，用于展示数据管理在训练高性能语言模型中的重要性，并采用CC-BY 4.0授权许可。