kye/all-lucidrain-code-python-tokenized-8192-3

Hugging Face2023-09-21 更新2024-03-04 收录

Python代码标记化

自然语言处理

数据链接：

https://hf-mirror.com/datasets/kye/all-lucidrain-code-python-tokenized-8192-3 数据链接链接失效反馈

官方服务：

资源简介：

--- dataset_info: features: - name: repo_name sequence: string - name: file_path sequence: string - name: input_ids sequence: int32 - name: attention_mask sequence: int8 splits: - name: train num_bytes: 2299336 num_examples: 21 download_size: 349131 dataset_size: 2299336 --- # Dataset Card for "all-lucidrain-code-python-tokenized-8192-3" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 数据集信息 #### 特征字段 - 字段名：仓库名称（repo_name），类型：字符串序列 - 字段名：文件路径（file_path），类型：字符串序列 - 字段名：输入ID（input_ids），类型：int32序列 - 字段名：注意力掩码（attention_mask），类型：int8序列 #### 数据划分 - 划分名称：训练集（train），字节数：2299336，样本数量：21 下载总大小：349131，数据集总大小：2299336 # "all-lucidrain-code-python-tokenized-8192-3"数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

kye

原始信息汇总