styal/filtered-fineweb-edu

Dataset created by filtering the fineweb-edu-dedup subset of smoll-corpus using this filter.
```
def my_filter(example):
return example["metadata"]["token_count"] <= 3000 and example["metadata"]["score"] * example["metadata"]["language_score"] > 0.95*3.8 and example["metadata"]["language"] == "en"

```
Each file contains approximately 31k rows.

本数据集系通过对smoll-corpus的fineweb-edu-dedup子集应用下述过滤函数构建而成：

def my_filter(example):
return example["metadata"]["token_count"] <= 3000 and example["metadata"]["score"] * example["metadata"]["language_score"] > 0.95*3.8 and example["metadata"]["language"] == "en"

该过滤函数的判定逻辑为：当且仅当待处理示例的元数据（metadata）中Token计数不超过3000、元数据内得分与语言得分（language_score）的乘积大于0.95×3.8，且元数据标注的语言为英语（标识为"en"）时，该示例将被纳入最终数据集。
每个文件约包含31000条数据行。