skymizer/common_starcoder
收藏Hugging Face2024-11-11 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/skymizer/common_starcoder
下载链接
链接失效反馈官方服务：
资源简介：
Common Starcoder数据集是从bigcode/starcoderdata生成的。该数据集经过了一系列的过滤和处理步骤，包括筛选出C、Cpp、Java、Python和JSON等常见编程语言的数据，移除了不相关的列，根据max_stars_count大于300的条件进行过滤，并使用GPT2Tokenizer计算了token_count字段。最终数据集包含2.13M个样本。
This dataset is generated from [bigcode/starcoderdata](https://huggingface.co/datasets/bigcode/starcoderdata), containing data in common languages such as C, Cpp, Java, Python, and JSON. The dataset has been filtered and shuffled, resulting in 2.13M samples, with the number of tokens in each sample calculated using GPT2Tokenizer.
提供机构：
skymizer
