epfml/FineWeb-HQ
收藏Hugging Face2025-09-30 更新2025-10-18 收录
下载链接：
https://hf-mirror.com/datasets/epfml/FineWeb-HQ
下载链接
链接失效反馈官方服务：
资源简介：
FineWeb-HQ是一个高质量、基于模型筛选的预训练数据集，从FineWeb中选取了质量最高的10%的文档。该数据集使用了深度学习分类器和XLM-RoBERTa嵌入来确保文档的结构化和知识丰富性。其多语言版本在多种语言评测中表现与原版相当，但使用了更少的训练标记。数据集完全开放，可在遵守许可的条件下使用。
FineWeb-HQ is a high-quality, model-filtered pretraining dataset derived from the top 10% of FineWeb documents. It utilizes deep learning classifiers and XLM-RoBERTa embeddings to ensure structured and knowledge-rich documents. The multilingual version, FineWeb2-HQ, performs comparably to the original across various languages with fewer training tokens. The dataset is fully open and available under the Open Data Commons Attribution License, with conditions for use.
提供机构：
epfml
