pszemraj/text2image-multi-prompt

该数据集是多个文本到图像提示数据集的集合，经过了清理和规范化处理，去除了特定模型的API（如Midjourney的--ar），并进行了基本的去重处理。2023年10月，default配置更新了更好的去重方法，使用了minhash技术。数据集包含train和test两个分割，每个分割包含text和src_dataset两个特征。原始版本仍然可以通过config_name="original"访问。

原始信息汇总

数据集概述

基本信息

• 名称: multi text2image prompts a dataset collection
• 语言: 英语
• 许可证: Apache-2.0
• 多语言性: 单语种
• 标签: 文本生成
• 任务类别: 文本生成, 特征提取

数据集组成

• 源数据集:
  • bartman081523/stable-diffusion-discord-prompts
  • succinctly/midjourney-prompts
  • Gustavosta/Stable-Diffusion-Prompts

配置详情

默认配置

• 数据文件路径:
  • 训练集: data/train-*
  • 测试集: data/test-*
• 数据集信息:
  • 特征:
    • text: 字符串类型
    • src_dataset: 字符串类型
  • 分割:
    • 训练集: 1677221个样本, 262736830字节
    • 测试集: 292876个样本, 56294291字节
  • 下载大小: 151054782字节
  • 数据集大小: 319031121字节

原始配置

• 数据文件路径:
  • 训练集: original/train-*
  • 测试集: original/test-*
• 数据集信息:
  • 特征:
    • text: 字符串类型
    • src_dataset: 字符串类型
  • 分割:
    • 训练集: 3551734个样本, 741427383字节
    • 测试集: 399393个样本, 83615440字节
  • 下载大小: 402186258字节
  • 数据集大小: 825042823字节

数据集更新

• 更新内容:
  • 2023年10月: 默认配置更新了更好的去重方法，使用minhash进行去重，减少了200多万行数据。
  • 原始版本仍可通过config_name="original"访问。