pszemraj/midjourney-messages-cleaned

midjourney-messages-cleaned数据集是基于vivym/midjourney-messages数据集进行清理后的版本。清理步骤包括移除大部分列（仅保留id列作为参考）、对所有行应用clean-text处理（保留大小写）、将content列重命名为text、移除末尾的中间ID/标签以及双星号**，并移除完全重复的行。数据集包含两个配置：deduped和default，每个配置都有train分割，包含id、channel_id和text三个特征。数据集主要用于文本生成任务，包含大量文本数据，并提供了token统计信息。

原始信息汇总

midjourney-messages-cleaned 数据集概述

基本信息

• 语言: 英语
• 许可: Apache 2.0
• 任务类别: 文本生成
• 标签: midjourney

数据集结构

配置

• deduped 配置:

  • 特征:
    • id: 字符串
    • channel_id: 字符串
    • text: 字符串
  • 分割:
    • train:
      • 字节数: 2538669745.0
      • 样本数: 14828769
  • 下载大小: 1585207687
  • 数据集大小: 2538669745.0
  • 数据文件:
    • train: deduped/train-*

• default 配置:

  • 特征:
    • id: 字符串
    • channel_id: 字符串
    • text: 字符串
  • 分割:
    • train:
      • 字节数: 3575844717.3610477
      • 样本数: 19716685
  • 下载大小: 1514418407
  • 数据集大小: 3575844717.3610477
  • 数据文件:
    • train: data/train-*

总体结构

python DatasetDict({ train: Dataset({ features: [id, channel_id, text], num_rows: 19738964 }) })

示例

python {id: 1108635049391308879, channel_id: 1008571088919343124, text: Warhammer 40k Chaos Space Marine with pink Armor and a guitar}

详细信息

• GPT-4 tiktoken 令牌数: 585M
• 令牌统计:
  • 计数: 1.971668e+07
  • 平均值: 2.971651e+01
  • 标准差: 3.875208e+01
  • 最小值: 1.000000e+00
  • 25% 分位数: 1.000000e+01
  • 50% 分位数: 1.900000e+01
  • 75% 分位数: 3.400000e+01
  • 最大值: 2.077000e+03