yzimmermann/tokenized-4m
收藏Hugging Face2024-11-26 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/yzimmermann/tokenized-4m
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含文本数据及其相关的输入ID、令牌类型ID和注意力掩码。数据集分为训练集，包含400万个示例，总大小为2961430243字节。
This dataset includes text data along with associated input IDs, token type IDs, and attention masks. The dataset is divided into a training set containing 4 million examples, with a total size of 2961430243 bytes.
提供机构：
yzimmermann
