OpenWeb383K
收藏魔搭社区2025-11-12 更新2025-02-08 收录
下载链接：
https://modelscope.cn/datasets/prithivMLmods/OpenWeb383K
下载链接
链接失效反馈官方服务：
资源简介：
# **OpenWeb Datasets Web Collection**
The OpenWeb Datasets Web Collection, derived from the 'FineWeb' dataset, consists of more than 15 trillion tokens of cleaned and deduplicated English web data from CommonCrawl. The data processing pipeline is optimized for LLM performance, and the necessary set of datasets has been extracted from Hugging Face's FineWeb collections. This dataset was created by processing 96 CommonCrawl dumps, comprising web data crawled from the summer of 2013 to April 2024. FineWeb includes a variety of domains and topics in English and is primarily intended to serve as a research artifact for public data in the context of pretraining datasets for large language models. The CommonCrawl data was carefully processed, filtered, and deduplicated using the Datatrove library, resulting in the largest publicly available clean LLM pretraining dataset, containing approximately 15 trillion tokens (using the GPT-2 tokenizer).
## FineWeb Dataset Overview
| **Dataset Name** | **Total Entries** | **Dataset Link** |
|-----------------|-----------------|-----------------|
| FineWeb | 25B | [FineWeb Dataset](https://huggingface.co/datasets/HuggingFaceFW/fineweb) |
# **开放网页数据集网页合集（OpenWeb Datasets Web Collection）**
本数据集源自「FineWeb」数据集，由来自CommonCrawl的经清洗、去重的超15万亿Token（Token）的英文网页数据构成。其数据处理流程针对大语言模型（Large Language Model，LLM）的性能进行了优化，并从Hugging Face的FineWeb数据集中提取了所需的数据集子集。本数据集通过处理96份CommonCrawl数据转储文件构建而成，涵盖2013年夏季至2024年4月期间爬取的网页数据。FineWeb包含多领域、多主题的英文数据，其核心定位是作为大语言模型预训练数据集场景下的公开研究用数据源。本次研究使用Datatrove库对CommonCrawl数据进行了严谨的处理、过滤与去重，最终得到目前规模最大的公开可用清洗版大语言模型预训练数据集，基于GPT-2分词器统计，其Token总量约为15万亿。
## FineWeb数据集概览
| **数据集名称** | **总条目数** | **数据集链接** |
|-----------------|-----------------|-----------------|
| FineWeb | 250亿 | [FineWeb数据集](https://huggingface.co/datasets/HuggingFaceFW/fineweb) |
提供机构：
maas
创建时间：
2025-02-07
