NoahEJ/fineweb-sample-100BT_over-1024-tokens-subset-xs
收藏Hugging Face2025-04-23 更新2025-10-25 收录
下载链接：
https://hf-mirror.com/datasets/NoahEJ/fineweb-sample-100BT_over-1024-tokens-subset-xs
下载链接
链接失效反馈官方服务：
资源简介：
这是一个从FineWeb sample-100BT数据集中选取的子集，其中包含了使用Llama 2分词器处理后的序列长度大于等于1024的样本。数据集包含文本、ID、存储路径、语言类型和语言分数等字段信息。
This is a subset of the FineWeb sample-100BT dataset, including samples with sequence lengths of 1024 or more after being tokenized with the Llama 2 tokenizer. The dataset contains fields such as text, ID, file path, language, and language score.
提供机构：
NoahEJ
