HuggingFaceFW/fineweb-edu-llama3-annotations

该数据集包含用于训练FineWeb-Edu教育质量分类器的注释。数据集的特征包括文本、元数据（如日期、文件路径、语言、语言评分、token计数、URL）、提示和评分。数据集的分割为训练集，包含467,424个样本，总大小为3,616,233,906.36字节。数据集通过Llama-3-70B-Instruct模型对FineWeb网页的教育价值进行评分，但不包含完整的Llama 3生成内容。

原始信息汇总

数据集概述

语言

• 英文（en）

许可证

• ODC-BY

数据集信息

• 特征

  • text: 类型为字符串（string）
  • metadata: 结构化数据
    • date: 类型为64位整数（int64）
    • dump: 类型为字符串（string）
    • file_path: 类型为字符串（string）
    • language: 类型为字符串（string）
    • language_score: 类型为64位浮点数（float64）
    • token_count: 类型为64位整数（int64）
    • url: 类型为字符串（string）
  • prompt: 类型为字符串（string）
  • score: 类型为64位整数（int64）

• 分割

  • train:
    • 字节数: 3616233906.3618937
    • 样本数: 467424

• 下载大小

  • 1590654012字节

• 数据集大小

  • 3616233906.3618937字节

配置

• 默认配置
  • 数据文件:
    • 分割: train
    • 路径: data/train-*