subset

RedPajama是一个开源的数据集，旨在重现LLaMA训练数据集。数据集包含三个字段：文本内容(text)、元数据(meta)和RedPajama子集(red_pajama_subset)，均为字符串类型。数据集目前只有训练集划分，包含约1558306个示例，总大小约为89461737251字节。