srvermeulen/LLM-of-Babel-NL-Processed

该数据集包含多个特征，如文件ID、内容、仓库、路径、标记长度、原始评论、评论类型、检测到的语言和提示。数据集分为训练集，包含89686个样本。数据集的大小和下载大小也被提供。

原始信息汇总

数据集概述

数据集信息

特征

• file_id: 文件ID，数据类型为字符串。
• content: 内容，数据类型为字符串。
• repo: 仓库，数据类型为字符串。
• path: 路径，数据类型为字符串。
• token_length: 标记长度，数据类型为整数。
• original_comment: 原始评论，数据类型为字符串。
• comment_type: 评论类型，数据类型为字符串。
• detected_lang: 检测到的语言，数据类型为字符串。
• prompt: 提示，数据类型为字符串。

数据分割

• train: 训练集，包含89686个样本，总大小为2356366218.3759623字节。

数据集大小

• 下载大小: 198532218字节
• 数据集总大小: 2356366218.3759623字节

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*