xz56/minipile-tokenized-llama
收藏Hugging Face2024-04-19 更新2024-06-11 收录
下载链接：
https://hf-mirror.com/datasets/xz56/minipile-tokenized-llama
下载链接
链接失效反馈官方服务：
资源简介：
Minipile数据集使用了LLamaTokenizer进行分词，上下文长度为2048，大约包含17亿个tokens。数据集包含训练集、验证集和测试集，分别有845326、392和8295个样本。
Minipile数据集使用了LLamaTokenizer进行分词，上下文长度为2048，大约包含17亿个tokens。数据集包含训练集、验证集和测试集，分别有845326、392和8295个样本。
提供机构：
xz56
原始信息汇总
数据集概述
数据集特征
- 名称: input_ids
- 序列类型: int32
数据集分割
- 训练集
- 示例数量: 845326
- 数据大小: 6928291896 字节
- 验证集
- 示例数量: 392
- 数据大小: 3212832 字节
- 测试集
- 示例数量: 8295
- 数据大小: 67985820 字节
数据集大小
- 下载大小: 3171829950 字节
- 总数据集大小: 6999490548 字节
配置文件
- 配置名称: default
- 数据文件路径
- 训练集: data/train-*
- 验证集: data/validation-*
- 测试集: data/test-*
