TinyStories 短篇故事合成数据集

该数据集是一个由 GPT-3.5 和 GPT-4 生成的短篇故事合成数据集，包含的词汇量限定在 3 至 4 岁儿童理解的范围内。它专为训练和评估小型语言模型 (LMs) 而设计，尽管模型规模较小（参数量低于 500 万），或拥有更简单的架构（只有一个 transformer 块），但使用这个数据集训练的模型仍能够产生流畅、一致、多样化且语法近乎完美的短故事。

This dataset is a corpus of synthetic short stories generated by GPT-3.5 and GPT-4, with vocabulary limited to the range understandable by children aged 3 to 4 years old. It is specifically designed for training and evaluating small-scale language models (LMs). Even though the target models have fewer than 5 million parameters or a simplified architecture consisting of only one transformer block, models trained on this dataset can still produce fluent, coherent, diverse, and nearly grammatically perfect short stories.

搜集汇总

背景与挑战

背景概述

TinyStories是一个由GPT-3.5和GPT-4生成的短篇故事合成数据集，词汇量限定在3至4岁儿童理解的范围内，专为训练和评估小型语言模型设计。该数据集由Microsoft Research于2023年提出，旨在展示即使模型规模较小或架构简单，也能生成流畅且语法正确的短故事。