Ba2han/HPLT-shorter-tokenized
收藏Hugging Face2025-10-13 更新2025-10-25 收录
下载链接：
https://hf-mirror.com/datasets/Ba2han/HPLT-shorter-tokenized
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是一个包含input_ids和attention_mask两个特征的训练集，共有约7800万个示例，数据大小为15GB。数据集适用于自然语言处理任务，其中的input_ids可能代表单词或子词的索引，attention_mask可能用于指示输入序列中的有效部分。
The dataset is a training set containing two features: input_ids and attention_mask, with a total of approximately 78 million examples and a data size of 15GB. The dataset is suitable for natural language processing tasks, where input_ids may represent indices of words or subwords, and attention_mask may be used to indicate the valid parts of the input sequence.
提供机构：
Ba2han
