noanabeshima/TinyStoriesV2
收藏Hugging Face2024-06-18 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/noanabeshima/TinyStoriesV2
下载链接
链接失效反馈官方服务：
资源简介：
TinyStoriesV2-GPT4数据集是一个基于GPT-4生成的新版本数据集，相较于原始数据集（包含GPT-3.5生成的内容），质量更高。数据集包含训练集和验证集，分别存储在TinyStoriesV2-GPT4-train.jsonl和TinyStoriesV2-GPT4-valid.jsonl文件中。数据预处理包括将Unicode转换为ASCII、去除多余空格和换行符、过滤掉特定符号等步骤。该数据集用于训练一个名为tiny_model的模型。
TinyStoriesV2-GPT4数据集是一个基于GPT-4生成的新版本数据集，相较于原始数据集（包含GPT-3.5生成的内容），质量更高。数据集包含训练集和验证集，分别存储在TinyStoriesV2-GPT4-train.jsonl和TinyStoriesV2-GPT4-valid.jsonl文件中。数据预处理包括将Unicode转换为ASCII、去除多余空格和换行符、过滤掉特定符号等步骤。该数据集用于训练一个名为tiny_model的模型。
提供机构：
noanabeshima
原始信息汇总
数据集概述
数据集名称
- TinyStoriesV2-GPT4
数据集配置
- 默认配置
- 训练集文件：TinyStoriesV2-GPT4-train.jsonl
- 验证集文件：TinyStoriesV2-GPT4-valid.jsonl
数据集描述
- TinyStoriesV2-GPT4是基于GPT-4生成的新版本数据集，包含约2.7M个故事，相比原数据集TinyStories的约2.1M个故事，规模更大。
数据预处理
- 使用
unidecode库将故事从Unicode转换为ASCII，以改善分词效果。 - 移除故事开头和结尾的多余空格。
- 将故事中的双换行符替换为单换行符，双空格替换为单空格。
- 剔除包含特定罕见符号的故事片段。
- 将处理后的故事保存为JSONL格式文件。
