schuler/TinyStories4PascalTxt
收藏Hugging Face2024-04-27 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/schuler/TinyStories4PascalTxt
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含由GPT-3.5和GPT-4生成的短篇故事，这些故事仅使用少量词汇。数据集最初由https://arxiv.org/abs/2305.07759描述，原始数据集可在https://huggingface.co/datasets/roneneldan/TinyStories找到。本仓库包含为Pascal开发者重新处理的版本，由1个TXT文件组成。数据集通过特定的Python代码从原始形态转换为当前形态，包括去除非ASCII字符、去除换行符等处理步骤。
该数据集包含由GPT-3.5和GPT-4生成的短篇故事，这些故事仅使用少量词汇。数据集最初由https://arxiv.org/abs/2305.07759描述，原始数据集可在https://huggingface.co/datasets/roneneldan/TinyStories找到。本仓库包含为Pascal开发者重新处理的版本，由1个TXT文件组成。数据集通过特定的Python代码从原始形态转换为当前形态，包括去除非ASCII字符、去除换行符等处理步骤。
提供机构：
schuler
原始信息汇总
Tiny Stories Dataset Reprocessed for Pascal Developers
基本信息
- 语言: 英语
- 名称: Tiny Stories Dataset Reprocessed for Pascal Developers - TXT format
- 标签: pascal, free pascal, lazarus, cai, schuler
- 许可证: cdla-sharing-1.0
- 任务类别: text-generation, text2text-generation
- 大小类别: 1M<n<10M
数据集描述
- 内容: 包含由GPT-3.5和GPT-4生成的短故事，使用有限词汇。
- 原始来源: 参考论文 https://arxiv.org/abs/2305.07759 和原始数据集 https://huggingface.co/datasets/roneneldan/TinyStories
- 格式: 由1个TXT文件组成
下载方式
- 使用以下代码下载并解压数据集: python import os if (not os.path.exists(tinystories.txt)): !git clone https://huggingface.co/datasets/schuler/TinyStories4PascalTxt !unzip TinyStories4PascalTxt/tinystories.txt.zip
数据集处理
- 原始数据转换: 使用特定脚本处理，创建了一个文本文件，移除了非ASCII字符和换行符，确保每行长度大于20个字符。
- 保存: 将处理后的数据保存为
tinystories.txt文件。
