loubnabnl/github-clean

Name: loubnabnl/github-clean
Creator: loubnabnl
Published: 2022-06-25 11:36:42
License: 暂无描述

Hugging Face2022-06-25 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/loubnabnl/github-clean

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: apache-2.0 ---

提供机构：

loubnabnl

原始信息汇总

数据集概述

许可证信息

许可证类型: Apache-2.0

loubnabnl/github-code-more-filtering

--- license: apache-2.0 ---

Hugging Face2022-06-30 更新20

loubnabnl/clean_prs2

--- dataset_info: features: - name: bucket dtype: string - name: pull_request_info struct: - name: org.id dtype: int64 - name: public dtype: bool - name: pull_req

Hugging Face2023-09-15 更新120

Github Code Clean

该数据集是从GitHub收集的经过清洗的代码，为了提升模型训练的质量和多样性，进行了精细的筛选处理。在保证数据质量方面，数据集经过了严格的去重和过滤，剔除了低质量的代码以及包含敏感信息和个人识别信息的内容。该数据集涵盖了116种编程语言的代码，适用于代码生成、代码修复、代码解释以及其他与代码相关的任务。

arXiv110

loubnabnl/tokenized-github-code-python

这是一个预分词的GitHub代码数据集，包含了来自GitHub的115M个代码文件，涵盖32种编程语言。数据集使用BPE Tokenizer进行分词，该分词器专门针对代码训练，且预分词可以加速训练过程。此外，数据集还包含了`ratio_char_token`，用于衡量文件中字符数与分词后token数的比例，有助于检测异常文件。

Hugging Face2022-04-28 更新120

loubnabnl/dummy_data_clean

--- dataset_info: features: - name: content dtype: string - name: language dtype: string - name: license dtype: string - name: path dtype: string - name: annotation_id

Hugging Face2022-11-09 更新60