vikp/starcoder_cleaned
收藏Hugging Face2023-08-22 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/vikp/starcoder_cleaned
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是基于starcoderdata的，但移除了前导的样板文本/许可证文本，并过滤掉了短序列。此外，还移除了文件开头的一些额外标签，如<reponame>。数据集包含两个特征：code（代码）和repo_path（仓库路径），并且提供了一个训练集，包含77,760,861个样本，总大小为619,559,312,188字节。
该数据集是基于starcoderdata的，但移除了前导的样板文本/许可证文本，并过滤掉了短序列。此外，还移除了文件开头的一些额外标签，如<reponame>。数据集包含两个特征：code（代码）和repo_path（仓库路径），并且提供了一个训练集，包含77,760,861个样本，总大小为619,559,312,188字节。
提供机构：
vikp
原始信息汇总
数据集概述
数据集基本信息
- 许可证: CC-BY-4.0
- 配置:
- 配置名称: default
- 数据文件:
- 分割: train
- 路径: data/train-*
数据集特征
- 特征名称: code
- 数据类型: string
- 特征名称: repo_path
- 数据类型: string
数据集分割信息
- 分割名称: train
- 字节数: 619559312188
- 示例数量: 77760861
数据集大小
- 下载大小: 35038291124
- 数据集大小: 619559312188
