dahara1/FineWeb2-HQ-ja-20B
收藏Hugging Face2025-04-21 更新2025-10-25 收录
下载链接：
https://hf-mirror.com/datasets/dahara1/FineWeb2-HQ-ja-20B
下载链接
链接失效反馈官方服务：
资源简介：
这是一个从大型多语言数据集中抽取出来的，包含约200GB日语数据的子数据集。数据集包含了多个文件，每个文件大小不同，总共包含34185427行数据。经过llama系トークナイザー处理，共有2,000,000条数据，总トークン数为1,385,798,340。
This is a subset extracted from a large multilingual dataset, containing approximately 200GB of Japanese data. The dataset includes multiple files with varying sizes, totaling 34,185,427 lines of data. Processed with the llama tokenizer, there are 2,000,000 entries with a total of 1,385,798,340 tokens.
提供机构：
dahara1
