Ajax101/ChineseWebText

Name: Ajax101/ChineseWebText
Creator: Ajax101
Published: 2023-11-03 02:57:28
License: 暂无描述

Hugging Face2023-11-03 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/Ajax101/ChineseWebText

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: mit ---

提供机构：

Ajax101

原始信息汇总

数据集许可证

许可证类型：MIT

ChineseWebText

This directory contains the ChineseWebText dataset, and the EvalWeb tool-chain to process CommonCrawl Data for high-quality chinese data.

OpenXLab00

ChineseWebText 2.0

ChineseWebText 2.0是由中国科学院自动化研究所创建的大规模高质量中文网络文本数据集，包含3.8TB的数据。该数据集通过多维度和细粒度信息标注，每条文本都附有质量评分、领域标签、毒性标签和毒性评分。数据集的创建过程包括手工规则过滤、质量评估模型、领域分类器和毒性评估模型的应用。该数据集旨在支持大语言模型（LLM）的研究，特别是针对特定领域能力和安全性的提升。

arXiv2024-11-29 更新1290

ChineseWebText2.0

ChineseWebText2.0是一个大规模的高质量中文网络文本数据集，包含3.8 TB的数据。每个文本都附有质量评分、领域单标签和多标签、以及毒性分类和评分，使LLM研究人员能够根据新的质量阈值选择数据。数据集通过MDFG-tool进行构建和过滤，确保数据的高质量和多维度的细粒度信息。

Hugging Face2024-11-27 更新1960

ChineseWebText

该数据集是从CommonCrawl数据中提取的单语种中文质量数据集，根据人工制定的规则进行了筛选。在筛选过程中，考虑了数据长度、敏感词汇以及中文字符的比例。该数据集的规模达到了530吉字节，其任务旨在为机器翻译进行预训练。

arXiv80

ChineseWebText 2.0

这是一个最新且最大的中文数据集，包含3.8 TB的数据。每个文本都附有质量评分、领域单标签和多标签、毒性分类和评分，使LLM研究人员能够根据新的质量阈值选择数据。

github2024-12-02 更新8700