m-a-p/FineFineWeb-validation
收藏Hugging Face2024-12-19 更新2024-12-21 收录
下载链接：
https://hf-mirror.com/datasets/m-a-p/FineFineWeb-validation
下载链接
链接失效反馈官方服务：
资源简介：
FineFineWeb是一个细粒度领域网络语料库的综合研究数据集，涵盖了多个细粒度领域，如航空航天、农学、艺术、天文学等。数据集通过去重、URL标注、粗粒度召回、细粒度召回等步骤构建，并提供了每个领域的token数量和样本数量。此外，数据集还进行了领域-领域相似性分析、领域-领域重复率分析以及领域-基准测试BPC-Acc相关性分析，以评估不同领域之间的相似性和相关性。
FineFineWeb is a comprehensive study on fine-grained domain web corpus, containing text data from multiple domains. The dataset construction process includes deduplication, URL labeling, coarse recall, fine recall, and iterative recall. The dataset provides detailed statistics on the amount of data and the number of samples in each domain, and evaluates the quality and characteristics of the dataset through domain similarity analysis, domain-domain duplication analysis, and domain-benchmark BPC-Acc correlation analysis.
提供机构：
m-a-p
