D4vidHuang/LLM_Of_Babel_ZH2_Filter_new

该数据集包含多个字段，包括文件ID、内容、仓库、路径、令牌长度、原始评论、评论类型、检测到的语言和掩码评论。数据集主要用于处理和分析代码库中的评论，可能涉及自然语言处理和代码分析的应用。数据集分为训练集，包含140,198个示例，总大小为2,634,636,162.86字节。

原始信息汇总

数据集概述

数据集特征

• file_id: 数据类型为字符串。
• content: 数据类型为字符串。
• repo: 数据类型为字符串。
• path: 数据类型为字符串。
• token_length: 数据类型为整数。
• original_comment: 数据类型为字符串。
• comment_type: 数据类型为字符串。
• detected_lang: 数据类型为字符串。
• prompt: 数据类型为字符串。

数据集划分

• train:
  • 示例数量: 140030
  • 数据大小: 2631338860.2412114 字节

数据集大小

• 下载大小: 228169825 字节
• 数据集总大小: 2631338860.2412114 字节

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*