aklein4/HuggingFaceFW-fineweb-sample-10BT-tokenized
收藏Hugging Face2025-07-21 更新2025-10-25 收录
下载链接：
https://hf-mirror.com/datasets/aklein4/HuggingFaceFW-fineweb-sample-10BT-tokenized
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含以下字段：source（字符串类型），input_ids和output_ids（均为uint16类型的列表），num_input_tokens和num_output_tokens（均为int64类型）。数据集被拆分为训练集，包含大约14868538个示例，总大小约为16971952578.536995字节。配置部分提供了默认配置，以及训练数据的文件路径。
The dataset includes the following fields: source (string type), input_ids and output_ids (both list of uint16 type), num_input_tokens and num_output_tokens (both int64 type). The dataset is split into a training set with approximately 14868538 examples, with a total size of about 16971952578.536995 bytes. The configuration section provides a default configuration and the file path for the training data.
提供机构：
aklein4
