ObscuraCoder/tokenizer-dataset

--- dataset_info: features: - name: content dtype: string splits: - name: train num_bytes: 9600641567.757967 num_examples: 2000000 download_size: 3878879579 dataset_size: 9600641567.757967 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集元信息： 特征字段： - 字段名：content，数据类型：字符串（string） 数据集拆分： - 拆分名称：train（训练集），字节大小：9600641567.757967，样本总数：2000000 下载大小：3878879579，数据集总大小：9600641567.757967 数据集配置： - 配置名称：default（默认配置），数据文件： - 对应拆分：train（训练集），文件路径：data/train-*