prithivMLmods/OpenWeb888K
收藏Hugging Face2025-02-06 更新2025-02-15 收录
下载链接：
https://hf-mirror.com/datasets/prithivMLmods/OpenWeb888K
下载链接
链接失效反馈官方服务：
资源简介：
OpenWeb Datasets Web Collection是从FineWeb数据集派生出来的，包含超过15万亿个清理和去重的英文网页数据，这些数据是从CommonCrawl中抓取的，经过优化以适应大型语言模型的性能。该数据集处理了96个CommonCrawl存档，数据覆盖从2013年夏季到2024年4月。它包括多种领域的英文内容，主要用于大型语言模型预训练的公共数据研究。
The OpenWeb Datasets Web Collection, derived from the FineWeb dataset, consists of more than 15 trillion tokens of cleaned and deduplicated English web data from CommonCrawl. Optimized for LLM performance, this dataset was created by processing 96 CommonCrawl dumps, covering web data from the summer of 2013 to April 2024. It includes a variety of English content across different domains and is primarily intended for research on public data for pretraining large language models.
提供机构：
prithivMLmods
