D4vidHuang/LLM_Of_Babel_ZH_Leave5_Inf

---
dataset_info:
features:
- name: file_id
dtype: string
- name: content
dtype: string
- name: repo
dtype: string
- name: path
dtype: string
- name: token_length
dtype: int64
- name: original_comment
dtype: string
- name: comment_type
dtype: string
- name: detected_lang
dtype: string
- name: prompt
dtype: string
- name: masked_data
dtype: string
- name: predict
dtype: string
- name: tokenized_data
sequence: int64
- name: tokenized_text
sequence: int64
splits:
- name: train
num_bytes: 11756787
num_examples: 200
download_size: 3018666
dataset_size: 11756787
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

This dataset is primarily used for natural language processing tasks, featuring multiple attributes related to text analysis. The features include file ID, content, repository, path, token length, original comment, comment type, detected language, prompt, masked data, prediction, tokenized data, and tokenized text. The dataset provides a training set with 200 samples, with a total size of 11756787 bytes and a download size of 3018666 bytes.

原始信息汇总

数据集详情

特征信息

• file_id: 文件ID，数据类型为字符串。
• content: 内容，数据类型为字符串。
• repo: 仓库，数据类型为字符串。
• path: 路径，数据类型为字符串。
• token_length: 标记长度，数据类型为整数（int64）。
• original_comment: 原始评论，数据类型为字符串。
• comment_type: 评论类型，数据类型为字符串。
• detected_lang: 检测到的语言，数据类型为字符串。
• prompt: 提示，数据类型为字符串。
• masked_data: 掩码数据，数据类型为字符串。
• predict: 预测，数据类型为字符串。
• tokenized_data: 标记化数据，数据类型为整数序列（int64）。
• tokenized_text: 标记化文本，数据类型为整数序列（int64）。

数据分割

• train: 训练集，包含200个样本，总字节数为11756787。

数据集大小

• 下载大小: 3018666字节。
• 数据集大小: 11756787字节。

配置信息

• default: 默认配置，包含训练集数据文件，路径为data/train-*。