noanabeshima/TinyModelTokIds
收藏Hugging Face2024-06-18 更新2024-06-29 收录
下载链接：
https://hf-mirror.com/datasets/noanabeshima/TinyModelTokIds
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是TinyStoriesV2，使用了TinyModel的tokenizer进行分词处理。数据集中仅包含长度大于或等于128个token的故事，并且这些故事被截断至128个token。数据集包括训练集和验证集，分别存储在train.jsonl和validation.jsonl文件中。
该数据集是TinyStoriesV2，使用了TinyModel的tokenizer进行分词处理。数据集中仅包含长度大于或等于128个token的故事，并且这些故事被截断至128个token。数据集包括训练集和验证集，分别存储在train.jsonl和validation.jsonl文件中。
提供机构：
noanabeshima
原始信息汇总
TinyStoriesV2 数据集概述
数据集描述
- 数据集名称: TinyStoriesV2
- 数据集来源: 使用 TinyModel 分词器对 TinyStoriesV2 进行分词处理。
- 数据筛选: 仅包含长度大于等于128个token的故事，并且所有故事被截断至128个token。
数据文件配置
- 配置名称: default
- 训练集:
- 文件路径:
train.jsonl
- 文件路径:
- 验证集:
- 文件路径:
validation.jsonl
- 文件路径:
- 训练集:
许可证
- 许可证类型: CDLA-Sharing-1.0
