severo/RedPajama-Tiny

这是[RedPajama数据集](https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T)的一个简化版本。它包含来自7个来源的64个样本。该数据集旨在开发和测试加载完整RedPajama数据集或任何一般HuggingFace数据集的数据/训练管道。它下载速度非常快，易于检查。您不应将其用于训练完整模型，但可以用于过拟合测试或任何其他健全性检查。

原始信息汇总

数据集概述

基本信息

• 名称: RedPajama Tiny
• 语言: 英语（en）
• 许可证: Apache-2.0
• 大小类别: 小于1K
• 任务类别: 文本生成

数据集特征

• 特征:
  • text: 字符串类型
  • meta: 字符串类型

数据集结构

• 数据结构: json { "text": ..., "meta": {"url": "...", "timestamp": "...", "source": "...", "language": "...", ...} }

数据集拆分

• 拆分详情:
  • 训练集:
    • 示例数量: 448
    • 字节数: 32428740
    • 下载大小: 18977228
    • 数据集大小: 32428740

使用目的

• 目的: 用于开发和测试加载完整RedPajama数据集或任何一般HuggingFace数据集的数据/训练管道。
• 建议用途: 适用于过拟合测试或其他基本验证，不适用于训练完整模型。