blythet/fineweb-edu-top1m

---
license: odc-by
task_categories:
- text-generation
- text-classification
size_categories:
- n<1M
tags:
- fineweb-edu
- educational
- high-quality
- filtered
dataset_info:
features:
- name: text
dtype: string
- name: score
dtype: float64
- name: url
dtype: string
- name: id
dtype: string
---

# FineWebEdu Top 1M (Score >= 4.0)

Top 1 million highest-educational-quality documents from [HuggingFaceFW/fineweb-edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu), filtered to score >= 4.0 (scale 0-5).

## Quick Use
```python
from datasets import load_dataset
ds = load_dataset("blythet/fineweb-edu-top1m", split="train")
```

## Details
- **Source**: HuggingFaceFW/fineweb-edu
- **Filter**: `score >= 4.0` (top ~2.2% of FineWebEdu)
- **Size**: 1M documents, ~1.9GB compressed Parquet
- **Avg score**: 4.182
- **Avg chars**: ~5,079 per document
- **Columns**: text, score, url, id
- **Sorted by**: score descending (highest quality first)

## License
ODC-By 1.0 (same as FineWebEdu), subject to CommonCrawl Terms of Use.

许可证: odc-by
任务类别:
- 文本生成
- 文本分类
规模类别:
- n<1M（样本数少于100万）
标签:
- fineweb-edu（FineWebEdu）
- 教育类
- 高质量
- 经过筛选
数据集信息:
特征:
- 名称: text
数据类型: 字符串（string）
- 名称: score
数据类型: 双精度浮点数（float64）
- 名称: url
数据类型: 字符串（string）
- 名称: id
数据类型: 字符串（string）

# FineWebEdu Top 1M（得分≥4.0）

该数据集源自[HuggingFaceFW/fineweb-edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu)，包含100万份教育质量最优的文档，已按照0至5分的评分标准筛选出得分≥4.0的样本。

## 快速使用
python
from datasets import load_dataset
ds = load_dataset("blythet/fineweb-edu-top1m", split="train")

## 详细说明
- **来源**：HuggingFaceFW/fineweb-edu（FineWebEdu）
- **筛选规则**：`score ≥ 4.0`（约占FineWebEdu总样本的2.2%）
- **规模**：100万份文档，压缩后约1.9GB Parquet格式文件
- **平均得分**：4.182
- **平均字符数**：每份文档约5079个字符
- **字段**：text、score、url、id
- **排序规则**：按得分降序排列（质量越高，排序越靠前）

## 许可证
采用ODC-By 1.0协议（与FineWebEdu一致），需遵守CommonCrawl使用条款。