D4vidHuang/LLM_Of_Babel_ZH_Leave3_Inf

---
dataset_info:
features:
- name: file_id
dtype: string
- name: content
dtype: string
- name: repo
dtype: string
- name: path
dtype: string
- name: token_length
dtype: int64
- name: original_comment
dtype: string
- name: comment_type
dtype: string
- name: detected_lang
dtype: string
- name: prompt
dtype: string
- name: masked_data
dtype: string
- name: predict
dtype: string
- name: tokenized_data
sequence: int64
- name: tokenized_text
sequence: int64
splits:
- name: train
num_bytes: 11491004
num_examples: 200
download_size: 2931896
dataset_size: 11491004
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集信息

特征

• file_id: 字符串类型
• content: 字符串类型
• repo: 字符串类型
• path: 字符串类型
• token_length: 64位整数类型
• original_comment: 字符串类型
• comment_type: 字符串类型
• detected_lang: 字符串类型
• prompt: 字符串类型
• masked_data: 字符串类型
• predict: 字符串类型
• tokenized_data: 序列类型，64位整数
• tokenized_text: 序列类型，64位整数

数据分割

• train:
  • 字节数: 11491004
  • 样本数: 200

数据大小

• 下载大小: 2931896 字节
• 数据集大小: 11491004 字节

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*