semran1/tokenized_20B
收藏Hugging Face2025-01-12 更新2025-02-15 收录
下载链接：
https://hf-mirror.com/datasets/semran1/tokenized_20B
下载链接
链接失效反馈官方服务：
资源简介：
这是一个包含文本数据的训练集，数据集中每个样本都包含了文本内容、token数量、input_ids、attention_mask和文本长度等信息。训练集包含了19447824个样本，文件大小为193927074306字节。
This is a training dataset containing text data, with each sample including text content, token count, input_ids, attention_mask, and text length. The training set consists of 19,447,824 samples, with a file size of 193,927,074,306 bytes.
提供机构：
semran1
