Zyphra/dclm-dedup
收藏Hugging Face2024-10-24 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/Zyphra/dclm-dedup
下载链接
链接失效反馈官方服务：
资源简介：
DCLM-Deduped是基于DCLM数据集进行完全去重后的版本。DCLM数据集使用了模型质量过滤方法，从Common Crawl中筛选出与OpenHermes和其他指令调优数据集相似的内容。尽管原始DCLM数据集已经进行了部分去重，但在进一步分析中发现其包含大量重复内容（约80%）。因此，Zyphra团队使用NeMo Curator工具对DCLM进行了完全去重，生成了DCLM-Deduped数据集，该数据集包含约750B个token。数据集主要用于文本生成任务，语言为英语，许可为CC-BY-4。
The DCLM-Deduped dataset is a fully deduplicated version of the high-quality DCLM dataset, containing approximately 750B tokens, primarily in English, and released under the CC-BY-4 license.
提供机构：
Zyphra
