Geralt-Targaryen/Children-zh

Name: Geralt-Targaryen/Children-zh
Creator: Geralt-Targaryen
Published: 2025-05-03 11:36:21
License: 暂无描述

Hugging Face2025-05-03 更新2025-10-25 收录

下载链接：

https://hf-mirror.com/datasets/Geralt-Targaryen/Children-zh

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: apache-2.0 ---

提供机构：

Geralt-Targaryen

Geralt-Targaryen/HPLT-zh

--- license: cc0-1.0 ---

Hugging Face2025-07-01 更新50

Geralt-Targaryen/CC-zh

该数据集是从Common Crawl中提取的高质量中文文本，经过多步骤清洗和预处理，包括移除包含非中英文字符和数字/大写字母比例过高的文档、将繁体中文转换为简体中文、去除低质量文档和重复文档，并使用Qwen2.5-32B-Instruct模型对文档进行质量评分，最终得到一个高质量的中文文本数据集。

Hugging Face2025-04-17 更新70

Geralt-Targaryen/stack

这是一个经过清洗的编程语言数据集，包含了java、javascript、php、python等高资源编程语言，去除了非英语文件和低质量文件。数据集还针对多个NLP基准进行了去污染处理，共有94,940,432个样本，文件大小为142G。

Hugging Face2025-03-26 更新70

Geralt-Targaryen/Literature-zh

该数据集是一个包含中国书籍、论文、法律文件和专利的复合数据集，经过数据清洗和模型过滤，目前包含47,087,808个样本，总大小为214G的Parquet文件。

Hugging Face2025-03-30 更新50

Geralt-Targaryen/C4-zh

这是一个从C4数据集清洗得到的中文文本数据集。清洗过程中移除了包含非中文非英文文本的文档，以及包含超过30%英文的文档。所有繁体中文文本被转换为简体中文。此外，还移除了低质量的文本，如模板和广告。数据集共有32,485,463个样本，Parquet文件大小为61G。还有一个经过模型筛选的版本，包含16,751,263个样本，文件大小为33G。对于398K个中文样本和250K个英文样本，使用了Qwe

Hugging Face2025-03-29 更新150