epfml/FineWeb2-HQ
收藏Hugging Face2025-02-19 更新2025-04-12 收录
下载链接：
https://hf-mirror.com/datasets/epfml/FineWeb2-HQ
下载链接
链接失效反馈官方服务：
资源简介：
FineWeb2-HQ是一个高质量、基于模型筛选的预训练数据集，它来源于FineWeb2数据集的子集，包含20种语言。通过使用基于XLM-RoBERTa嵌入的分类器对文档进行打分，选取每种语言中质量最高的10%的文档。该数据集旨在提高预训练效率，并在使用更少标记的情况下匹配或超越原数据集的性能。
FineWeb2-HQ is a high-quality, model-filtered pretraining dataset derived from a subset of FineWeb2, covering 20 languages. It selects the top 10% of documents by quality for each language using a deep learning classifier based on XLM-RoBERTa embeddings. The dataset is designed to enhance pretraining efficiency and match or exceed the performance of the original dataset with fewer tokens.
提供机构：
epfml
