schuler/TinyStories4Pascal
收藏Hugging Face2024-05-18 更新2024-06-11 收录
下载链接：
https://hf-mirror.com/datasets/schuler/TinyStories4Pascal
下载链接
链接失效反馈官方服务：
资源简介：
Tiny Stories Dataset Reprocessed for Pascal Developers是一个专为Pascal开发者重新处理的数据集，包含由GPT-3.5和GPT-4生成的短故事，使用有限词汇。数据集包含两个CSV文件：一个词汇表和一个已分词的数据集，适用于文本生成任务。
Tiny Stories Dataset Reprocessed for Pascal Developers是一个专为Pascal开发者重新处理的数据集，包含由GPT-3.5和GPT-4生成的短故事，使用有限词汇。数据集包含两个CSV文件：一个词汇表和一个已分词的数据集，适用于文本生成任务。
提供机构：
schuler
原始信息汇总
Tiny Stories Dataset Reprocessed for Pascal Developers 概述
数据集基本信息
- 语言: 英语
- 标签: pascal, free pascal, lazarus, cai, schuler
- 许可证: cdla-sharing-1.0
- 任务类别:
- 文本生成
- 文本到文本生成
- 大小类别: 1M<n<10M
数据集内容
- 包含由 GPT-3.5 和 GPT-4 生成的短故事，使用有限词汇。
- 数据集由两个 CSV 文件组成：
- 词汇表
- 已分词的数据集
数据集下载
-
下载命令：
git clone https://huggingface.co/datasets/schuler/TinyStories4Pascal unzip TinyStories4Pascal/tinystories_tokenized_81.csv.zip unzip TinyStories4Pascal/tinystories_vocab.csv.zip
数据集原始来源
- 原始数据集链接: https://huggingface.co/datasets/roneneldan/TinyStories
- 原始论文描述: https://arxiv.org/abs/2305.07759
数据集转换
- 原始数据集通过以下步骤转换：
- 文本文件处理，移除非ASCII字符和特殊符号。
- 使用 keras_nlp 进行词汇计算和分词处理。
- 将处理后的数据保存为 CSV 文件。
