eminorhan/tinystories
收藏Hugging Face2024-12-03 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/eminorhan/tinystories
下载链接
链接失效反馈官方服务：
资源简介：
该存储库包含了Ronen Eldan的TinyStories数据集的副本，经过重新格式化以便更容易与Hugging Face的`datasets`库的`load_dataset`接口一起使用。除了完整的数据集（位于`eminorhan/tinystories/all`目录下），还提供了两个随机子集，分别包含大约10M和100M单词（分别对应大约62K和623K个故事）。这些子集旨在用于BabyLM挑战。数据集经过了轻微的预处理，主要是移除了`<|endoftext|>`字符串以及尾部的空格和换行符。
This dataset is a reformatted copy of Ronen Eldans TinyStories dataset, designed to be easily used with Hugging Faces `datasets` library `load_dataset` interface. It includes the full dataset as well as two random subsets containing approximately 10M and 100M words, intended for the BabyLM challenge. Each configuration includes train and validation splits, with light preprocessing applied.
提供机构：
eminorhan
