D4vidHuang/LLM_Of_Babel_ZH2_Inference_new

---
dataset_info:
features:
- name: file_id
dtype: string
- name: content
dtype: string
- name: repo
dtype: string
- name: path
dtype: string
- name: token_length
dtype: int64
- name: original_comment
dtype: string
- name: comment_type
dtype: string
- name: detected_lang
dtype: string
- name: prompt
dtype: string
- name: masked_data
dtype: string
- name: predict
dtype: string
- name: tokenized_data
sequence: int64
- name: tokenized_assert
sequence: int64
splits:
- name: train
num_bytes: 109379845
num_examples: 2000
download_size: 28996757
dataset_size: 109379845
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

数据集特征

• file_id: 数据类型为字符串。
• content: 数据类型为字符串。
• repo: 数据类型为字符串。
• path: 数据类型为字符串。
• token_length: 数据类型为整数。
• original_comment: 数据类型为字符串。
• comment_type: 数据类型为字符串。
• detected_lang: 数据类型为字符串。
• prompt: 数据类型为字符串。
• masked_data: 数据类型为字符串。
• predict: 数据类型为字符串。
• tokenized_data: 数据类型为整数序列。
• tokenized_assert: 数据类型为整数序列。

数据集分割

• train:
  • 数据大小: 109379845 字节
  • 示例数量: 2000

数据集大小

• 下载大小: 28996757 字节
• 数据集总大小: 109379845 字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*