uv-scripts/dataset-stats
收藏Hugging Face2026-02-01 更新2026-02-07 收录
下载链接：
https://hf-mirror.com/datasets/uv-scripts/dataset-stats
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含用于分析HuggingFace数据集的UV脚本，特别是`finepdfs-stats.py`脚本，用于分析CommonCrawl转储（2013-2025年）中的教育质量趋势。脚本支持Polars流式处理，无需下载整个数据集（300GB+），可进行时间序列分析，支持70多种语言，并可将结果上传至HF Hub。
This dataset contains UV scripts for analyzing HuggingFace datasets, particularly the `finepdfs-stats.py` script for analyzing educational quality trends across CommonCrawl dumps (2013-2025). The script supports Polars streaming (no download of 300GB+ dataset), temporal analysis, 70+ languages, and can upload results to HF Hub.
提供机构：
uv-scripts
