AmanPriyanshu/stratified-kmeans-diverse-pretraining-100K-1M
收藏Hugging Face2025-10-04 更新2025-10-25 收录
下载链接：
https://hf-mirror.com/datasets/AmanPriyanshu/stratified-kmeans-diverse-pretraining-100K-1M
下载链接
链接失效反馈官方服务：
资源简介：
这是一个精心平衡的子集，结合了FineWeb-Edu和Proof-Pile-2，使用基于嵌入的k-means采样，以确保在多个尺度上的教育和数学/科学内容的多样性和代表性。数据集以50k、100k、250k、500k和1M的规模提供，包括教育、科学、数学和代码内容。
This is a carefully balanced subset combining FineWeb-Edu and Proof-Pile-2, featuring embedding-based k-means sampling to ensure diverse representation across educational and mathematical/scientific content at multiple scales.
提供机构：
AmanPriyanshu
