bms-tokenizers-v1

该数据集包含文本数据，具体内容未在README中描述。数据集分为训练集部分，共有约608万个示例，总大小约为99.6GB。提供了一个默认配置，指向训练集的数据文件。