ytzi/the-stack-dedup-python-filtered-non_ascii
收藏Hugging Face2024-03-28 更新2024-06-11 收录
下载链接：
https://hf-mirror.com/datasets/ytzi/the-stack-dedup-python-filtered-non_ascii
下载链接
链接失效反馈官方服务：
资源简介：
该数据集源自[bigcode/the-stack-dedup](https://huggingface.co/datasets/bigcode/the-stack-dedup)，并应用了一些过滤器，如移除非ASCII字符。数据集包含多个特征字段，如hexsha、size、ext、lang等，数据类型包括字符串、整型和浮点型。数据集分为训练集，包含12962248个样本，总大小为136302381628字节。
该数据集源自[bigcode/the-stack-dedup](https://huggingface.co/datasets/bigcode/the-stack-dedup)，并应用了一些过滤器，如移除非ASCII字符。数据集包含多个特征字段，如hexsha、size、ext、lang等，数据类型包括字符串、整型和浮点型。数据集分为训练集，包含12962248个样本，总大小为136302381628字节。
提供机构：
ytzi
原始信息汇总
数据集概述
数据集配置
- 配置名称: main
数据集特征
- hexsha: 字符串类型
- size: 整数类型（int64）
- ext: 字符串类型
- lang: 字符串类型
- max_stars_repo_path: 字符串类型
- max_stars_repo_name: 字符串类型
- max_stars_repo_head_hexsha: 字符串类型
- max_stars_repo_licenses: 字符串序列类型
- max_stars_count: 整数类型（int64）
- max_stars_repo_stars_event_min_datetime: 字符串类型
- max_stars_repo_stars_event_max_datetime: 字符串类型
- max_issues_repo_path: 字符串类型
- max_issues_repo_name: 字符串类型
- max_issues_repo_head_hexsha: 字符串类型
- max_issues_repo_licenses: 字符串序列类型
- max_issues_count: 整数类型（int64）
- max_issues_repo_issues_event_min_datetime: 字符串类型
- max_issues_repo_issues_event_max_datetime: 字符串类型
- max_forks_repo_path: 字符串类型
- max_forks_repo_name: 字符串类型
- max_forks_repo_head_hexsha: 字符串类型
- max_forks_repo_licenses: 字符串序列类型
- max_forks_count: 整数类型（int64）
- max_forks_repo_forks_event_min_datetime: 字符串类型
- max_forks_repo_forks_event_max_datetime: 字符串类型
- content: 字符串类型
- avg_line_length: 浮点类型（float64）
- max_line_length: 整数类型（int64）
- alphanum_fraction: 浮点类型（float64）
- original_content: 字符串类型
- filtered:remove_non_ascii: 整数类型（int64）
- filtered:remove_delete_markers: 整数类型（int64）
数据集分割
- 分割名称: train
- 数据大小: 136302381628字节
- 示例数量: 12962248
数据集大小
- 下载大小: 51899369550字节
- 数据集大小: 136302381628字节
