Hyperspace-Technologies/scp-wiki-text

--- license: cc-by-4.0 language: - en tags: - scp size_categories: - 100M<n<1B dataset_info: features: - name: text dtype: string splits: - name: train num_bytes: 24497718.02277939 num_examples: 314294 - name: test num_bytes: 2722003.3115220205 num_examples: 34922 download_size: 72410093 dataset_size: 27219721.334301412 ---许可证：CC BY 4.0 语言： - 英语 标签： - SCP 数据规模范围：1亿 < 样本数 < 10亿 数据集信息： 特征列表： - 字段名称：text，数据类型：字符串（string） 数据划分： - 名称：train（训练集），字节数：24497718.02277939，样本数量：314294 - 名称：test（测试集），字节数：2722003.3115220205，样本数量：34922 下载大小：72410093 数据集总大小：27219721.334301412

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-4.0
• 语言: 英语
• 标签: SCP
• 大小范围: 100M<n<1B

数据集结构

• 特征:
  • 名称: text
  • 数据类型: string

数据分割

• 训练集:
  • 字节数: 24497718.02277939
  • 示例数: 314294
• 测试集:
  • 字节数: 2722003.3115220205
  • 示例数: 34922

下载与数据集大小

• 下载大小: 72410093
• 数据集大小: 27219721.334301412

搜集汇总

背景与挑战

背景概述

该数据集是SCP Wiki的文本集合，包含大量虚构的SCP基金会文档、故事和实验记录，主要用于自然语言处理任务。数据集规模较大，有约349,000行文本，以英语编写，采用CC-BY-4.0许可证开放使用。