iimaginary/fineweb-edu-10B

Name: iimaginary/fineweb-edu-10B
Creator: iimaginary
Published: 2024-12-06 13:26:55
License: 暂无描述

Hugging Face2024-12-06 更新2024-12-14 收录

下载链接：

https://hf-mirror.com/datasets/iimaginary/fineweb-edu-10B

下载链接

链接失效反馈

官方服务：

资源简介：

--- language: - en license: apache-2.0 ---

提供机构：

iimaginary

Edu Fineweb10B Char

Updated: 2025-10-28 09:59:07

kaggle2025-10-28 更新40

CohereLabs/fineweb-edu-10B-index

--- license: cc-by-nc-sa-4.0 --- This dataset contains the embeddings for the 10B variant of [fineweb-edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu), embedded with the Cohere Embed V

Hugging Face2026-03-25 更新00

FineWeb-Edu-10B-Tokens-NPY

这是一个包含约100亿个tokens的预处理教育文本数据集，适用于训练小型语言模型，如GPT-2 124M。数据集由高质量的FineWeb-Edu数据集筛选而来，已使用GPT-2的tiktoken分词器进行分词，并保存为numpy格式以提高训练效率。适合用于小型语言模型训练、教育研究以及快速原型开发。

Hugging Face2025-07-15 更新50

fineweb-edu-dedup-10b

该数据集包含文本数据，每个样本具有唯一的ID和丰富的元数据信息。元数据包括数据来源（dump）、URL、日期、文件路径、语言、语言评分、词数、评分和整数评分等。数据集分为一个训练集，包含9508400个样本，总大小为48116092268字节，下载大小为27853570548字节。

Hugging Face2025-01-22 更新110

EleutherAI/fineweb-edu-dedup-10b

该数据集包含文本数据及其相关元数据，文本数据包含标识符和内容，元数据包括dump信息、URL、日期、文件路径、语言、语言评分、词数、评分和整数量评分等。数据集划分为训练集，提供了训练集的字节数和示例数，以及数据集的下载大小和整体大小。

Hugging Face2025-01-21 更新50