TheSkullery/Aether-Lite-v1.8.1

Aether Lite数据集旨在平衡创意写作、Slop和智能。该数据集包含了多个来源的数据，并经过了严格的过滤、去重和清洗过程。数据集格式包括对话、系统信息、工具、来源、脚本版本、人类标记计数、GPT标记计数和处理时间等信息。数据集创建过程包括模型和分词器准备、数据过滤和转换、分块处理和文件写入、去重和合并等步骤。

原始信息汇总

数据集信息

特征

• conversations: 列表
  • from: 字符串
  • value: 字符串
• system: 字符串
• tools: 字符串
• origin: 字符串
• script_version: 字符串
• human_token_count: 整数
• gpt_token_count: 整数
• processing_time_ms: 浮点数

数据分割

• train:
  • 字节数: 390450861
  • 样本数: 125119

下载和数据集大小

• 下载大小: 223944633 字节
• 数据集大小: 390450861 字节

配置

• default:
  • 数据文件:
    • split: train
    • path: data/train-*

许可证

• cc-by-sa-4.0

语言

• en

大小类别

• 100K<n<1M