ll922/RedPajama-Data-1T-Sample-Backup

RedPajama Data 1T Sample Backup 是一个备份镜像数据集，源自原始数据集 togethercomputer/RedPajama-Data-1T-Sample。该备份旨在当原始数据集不可用或下载困难时，提供更便捷的访问方式。数据集以Parquet格式存储，主要用于文本生成任务，支持英语，并采用Apache 2.0许可证。--- pretty_name: RedPajama Data 1T 样本备份集 language: - 英语 license: Apache-2.0 task_categories: - 文本生成 tags: - RedPajama - 语言建模 - 备份 - Parquet configs: - config_name: default data_files: - split: train path: "data/train-*.parquet" --- # RedPajama Data 1T 样本备份集 本数据集为`togethercomputer/RedPajama-Data-1T-Sample`的备份镜像。 本数据集旨在解决原始数据集无法访问或下载难度较大的问题，为用户提供更便捷的获取途径。 ## 使用方法 ### 原始数据集加载代码 python from datasets import load_dataset ds = load_dataset( "togethercomputer/RedPajama-Data-1T-Sample", split="train", trust_remote_code=True, ) ### 备份数据集加载代码 python from datasets import load_dataset ds = load_dataset( "ll922/RedPajama-Data-1T-Sample-Backup", split="train", ) ## 数据存储说明 本数据集以Parquet格式存储于`data/`目录下。 ## 原始数据集来源 原始数据集地址：`togethercomputer/RedPajama-Data-1T-Sample`