Edu Fineweb10B Char

kaggle2025-10-28 更新2025-12-06 收录

下载链接：

https://www.kaggle.com/datasets/fredrelec/edu-fineweb10b-char

下载链接

链接失效反馈

官方服务：

资源简介：

Updated: 2025-10-28 09:59:07

创建时间：

2025-10-28

iimaginary/fineweb-edu-10B

--- language: - en license: apache-2.0 ---

Hugging Face2024-12-06 更新40

Cohere/fineweb-edu-10B-index

该数据集包含了使用Cohere Embed V3模型嵌入的fineweb-edu的10B变体的嵌入。这些嵌入允许用户使用DiskVectorIndex进行高效搜索，而只需500MB的内存。

Hugging Face2025-06-26 更新20

CohereLabs/fineweb-edu-10B-index

--- license: cc-by-nc-sa-4.0 --- This dataset contains the embeddings for the 10B variant of [fineweb-edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu), embedded with the Cohere Embed V

Hugging Face2026-03-25 更新00

fineweb-edu-dedup-10b

该数据集包含文本数据，每个样本具有唯一的ID和丰富的元数据信息。元数据包括数据来源（dump）、URL、日期、文件路径、语言、语言评分、词数、评分和整数评分等。数据集分为一个训练集，包含9508400个样本，总大小为48116092268字节，下载大小为27853570548字节。

Hugging Face2025-01-22 更新110

fineweb-edu-10b-gpt2

FineWeb-Edu Pre-Tokenized (gpt2) 是一个基于 HuggingFaceFW/fineweb-edu 数据集的子集（sample/350BT，score >= 3）的预分词数据集。数据集使用 gpt2 分词器进行处理，词汇量为 50,257，数据类型为 uint16。数据被分块存储，每块大小为 512 MB，包含 268,435,456 个令牌。每个文档的格式为 [BO

Hugging Face2026-03-03 更新100