D4vidHuang/LLM_Of_Babel_ZH2_Inference_new

--- dataset_info: features: - name: file_id dtype: string - name: content dtype: string - name: repo dtype: string - name: path dtype: string - name: token_length dtype: int64 - name: original_comment dtype: string - name: comment_type dtype: string - name: detected_lang dtype: string - name: prompt dtype: string - name: masked_data dtype: string - name: predict dtype: string - name: tokenized_data sequence: int64 - name: tokenized_assert sequence: int64 splits: - name: train num_bytes: 109379845 num_examples: 2000 download_size: 28996757 dataset_size: 109379845 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征字段： - 名称：file_id（文件ID），数据类型：字符串 - 名称：content，数据类型：字符串 - 名称：repo（代码仓库），数据类型：字符串 - 名称：path（文件路径），数据类型：字符串 - 名称：token_length（Token长度），数据类型：64位整数 - 名称：original_comment（原始注释），数据类型：字符串 - 名称：comment_type（注释类型），数据类型：字符串 - 名称：detected_lang（检测语言），数据类型：字符串 - 名称：prompt（提示词），数据类型：字符串 - 名称：masked_data（掩码数据），数据类型：字符串 - 名称：predict（预测结果），数据类型：字符串 - 名称：tokenized_data（分词后数据），数据类型：64位整数序列 - 名称：tokenized_assert（分词后校验数据），数据类型：64位整数序列 数据集划分： - 划分名称：train（训练集），占用字节数：109379845，样本数量：2000 下载总大小：28996757，数据集总大小：109379845 配置项： - 配置名称：default（默认配置），数据文件： - 对应划分：train（训练集），文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• file_id: 数据类型为字符串。
• content: 数据类型为字符串。
• repo: 数据类型为字符串。
• path: 数据类型为字符串。
• token_length: 数据类型为整数。
• original_comment: 数据类型为字符串。
• comment_type: 数据类型为字符串。
• detected_lang: 数据类型为字符串。
• prompt: 数据类型为字符串。
• masked_data: 数据类型为字符串。
• predict: 数据类型为字符串。
• tokenized_data: 数据类型为整数序列。
• tokenized_assert: 数据类型为整数序列。

数据集分割

• train:
  • 数据大小: 109379845 字节
  • 示例数量: 2000

数据集大小

• 下载大小: 28996757 字节
• 数据集总大小: 109379845 字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*