YanNaingsoe/fineweb-edu-100b-shuffle

Name: YanNaingsoe/fineweb-edu-100b-shuffle
Creator: YanNaingsoe
Published: 2026-03-11 07:47:27
License: 暂无描述

Hugging Face2026-03-11 更新2026-03-29 收录

下载链接：

https://hf-mirror.com/datasets/YanNaingsoe/fineweb-edu-100b-shuffle

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: odc-by ---

提供机构：

YanNaingsoe

fineweb-edu-100b-shuffle

魔搭社区2026-01-07 更新80

fineweb_edu_100BT-shuffled

该数据集包含一个训练分片，共计102,063,987条文本样本，总数据量528GB。每条记录包含文本内容（text字段）及丰富的元数据：唯一标识符（id）、来源URL（url）、日期信息（date）、存储路径（file_path）。语言相关特征包括预测语言类型（language）及其置信度（language_score），同时提供文本长度（token_count）、质量评分（score/int_s

Hugging Face2026-02-16 更新70

HuggingFaceFW/fineweb_edu_100BT-shuffled

--- dataset_info: features: - name: text dtype: string - name: id dtype: string - name: dump dtype: string - name: url dtype: string - name: date dt

Hugging Face2026-03-02 更新60

karpathy/fineweb-edu-100b-shuffle

--- license: odc-by ---

Hugging Face2025-09-25 更新40

karpathy-fineweb-edu-100b-shuffle-240shard

用于复现卡帕西大模型项目nanochat的24G文本数据集，用于tokenizer训练、预训练、中间训练、监督微调、强化学习等。

魔搭社区2026-01-09 更新320