ivanzhouyq/RedPajama-Tiny

这是RedPajama数据集的微型版本，包含来自7个来源的64个样本。该数据集旨在开发和测试加载完整RedPajama数据集或任何一般HuggingFace数据集的数据/训练管道。它下载速度快，易于检查。不建议将其用于完整模型的训练，但可以用于过拟合测试或其他健全性检查。数据集结构包括文本和元数据字段。

原始信息汇总

数据集概述

基本信息

• 名称: RedPajama Tiny
• 语言: 英语
• 许可证: Apache-2.0
• 大小分类: 小于1K
• 任务分类: 文本生成

数据集配置

• 配置名称: default
• 数据文件:
  • 训练集路径: data/train-*

数据集特征

• 特征1: text
  • 数据类型: string
• 特征2: meta
  • 数据类型: string

数据集分割

• 训练集:
  • 字节数: 32428740
  • 样本数: 448

下载与数据集大小

• 下载大小: 18977230
• 数据集大小: 32428740

数据集结构

• 数据格式: json { "text": ..., "meta": {"url": "...", "timestamp": "...", "source": "...", "language": "...", ...} }