vietgpt-archive/ds-synthetic

该数据集包含文本数据，每个数据点具有唯一的ID，以及详细的元数据信息，包括文件路径、令牌计数和URL。此外，每个数据点还附带一个困惑度指标。数据集主要分为训练集，总大小为7235995382字节，包含415956个示例。数据集的下载大小为3373779702字节。

原始信息汇总

数据集信息

特征

• text: 数据类型为字符串。
• id: 数据类型为字符串。
• metadata: 结构化数据，包含以下字段：
  • file_path: 数据类型为字符串。
  • token_count: 数据类型为整数（int64）。
  • url: 数据类型为字符串。
• perplexity: 数据类型为浮点数（float64）。

数据分割

• train: 包含415956个样本，总字节数为7235995382。

数据集大小

• 下载大小: 3373779702字节。
• 数据集大小: 7235995382字节。

配置

• default: 包含训练数据文件，路径为data/train-*。