AmanPriyanshu/stratified-kmeans-diverse-pretraining-100K-1M
收藏数据链接：
官方服务：
资源简介：
这是一个精心平衡的子集，结合了FineWeb-Edu和Proof-Pile-2，使用基于嵌入的k-means采样，以确保在多个尺度上的教育和数学/科学内容的多样性和代表性。数据集以50k、100k、250k、500k和1M的规模提供，包括教育、科学、数学和代码内容。
This is a carefully balanced subset combining FineWeb-Edu and Proof-Pile-2, featuring embedding-based k-means sampling to ensure diverse representation across educational and mathematical/scientific content at multiple scales.
提供机构：
AmanPriyanshu
