Geralt-Targaryen/openwebtext2
收藏Hugging Face2025-03-27 更新2025-02-15 收录
下载链接：
https://hf-mirror.com/datasets/Geralt-Targaryen/openwebtext2
下载链接
链接失效反馈官方服务：
资源简介：
这是一个经过清理的OpenWebText2数据集版本，移除了非英文、重复、受版权保护的样本以及低质量的样本。此外，数据集还针对多个基准进行了去污染处理，确保了数据的质量和适用性。数据集包含13,071,217个样本，下载的parquet文件大小为34G。
A cleaned version of OpenWebText2 by removing non-English, duplicated, copyrighted, and low-quality samples. The dataset has been decontaminated for multiple benchmarks based on n-gram overlap, ensuring the quality and usability of the data. It contains 13,071,217 samples with a download size of 34G in parquet files.
提供机构：
Geralt-Targaryen
