ytzi/the-stack-dedup-python-scored-filtered

--- dataset_info: features: - name: hexsha dtype: string - name: size dtype: int64 - name: ext dtype: string - name: lang dtype: string - name: max_stars_repo_path dtype: string - name: max_stars_repo_name dtype: string - name: max_stars_repo_head_hexsha dtype: string - name: max_stars_repo_licenses sequence: string - name: max_stars_count dtype: int64 - name: max_stars_repo_stars_event_min_datetime dtype: string - name: max_stars_repo_stars_event_max_datetime dtype: string - name: max_issues_repo_path dtype: string - name: max_issues_repo_name dtype: string - name: max_issues_repo_head_hexsha dtype: string - name: max_issues_repo_licenses sequence: string - name: max_issues_count dtype: int64 - name: max_issues_repo_issues_event_min_datetime dtype: string - name: max_issues_repo_issues_event_max_datetime dtype: string - name: max_forks_repo_path dtype: string - name: max_forks_repo_name dtype: string - name: max_forks_repo_head_hexsha dtype: string - name: max_forks_repo_licenses sequence: string - name: max_forks_count dtype: int64 - name: max_forks_repo_forks_event_min_datetime dtype: string - name: max_forks_repo_forks_event_max_datetime dtype: string - name: content dtype: string - name: avg_line_length dtype: float64 - name: max_line_length dtype: int64 - name: alphanum_fraction dtype: float64 - name: count_classes dtype: int64 - name: score_classes dtype: float64 - name: count_generators dtype: int64 - name: score_generators dtype: float64 - name: count_decorators dtype: int64 - name: score_decorators dtype: float64 - name: count_async_functions dtype: int64 - name: score_async_functions dtype: float64 - name: count_documentation dtype: int64 - name: score_documentation dtype: float64 splits: - name: train num_bytes: 5712130489 num_examples: 1372309 download_size: 2542489159 dataset_size: 5712130489 configs: - config_name: default data_files: - split: train path: data/train-* ---

原始信息汇总

数据集特征概述

基本特征

• hexsha: 字符串类型
• size: 整数类型
• ext: 字符串类型
• lang: 字符串类型

星标相关特征

• max_stars_repo_path: 字符串类型
• max_stars_repo_name: 字符串类型
• max_stars_repo_head_hexsha: 字符串类型
• max_stars_repo_licenses: 字符串序列类型
• max_stars_count: 整数类型
• max_stars_repo_stars_event_min_datetime: 字符串类型
• max_stars_repo_stars_event_max_datetime: 字符串类型

问题相关特征

• max_issues_repo_path: 字符串类型
• max_issues_repo_name: 字符串类型
• max_issues_repo_head_hexsha: 字符串类型
• max_issues_repo_licenses: 字符串序列类型
• max_issues_count: 整数类型
• max_issues_repo_issues_event_min_datetime: 字符串类型
• max_issues_repo_issues_event_max_datetime: 字符串类型

分支相关特征

• max_forks_repo_path: 字符串类型
• max_forks_repo_name: 字符串类型
• max_forks_repo_head_hexsha: 字符串类型
• max_forks_repo_licenses: 字符串序列类型
• max_forks_count: 整数类型
• max_forks_repo_forks_event_min_datetime: 字符串类型
• max_forks_repo_forks_event_max_datetime: 字符串类型

代码相关特征

• content: 字符串类型
• avg_line_length: 浮点数类型
• max_line_length: 整数类型
• alphanum_fraction: 浮点数类型
• count_classes: 整数类型
• score_classes: 浮点数类型
• count_generators: 整数类型
• score_generators: 浮点数类型
• count_decorators: 整数类型
• score_decorators: 浮点数类型
• count_async_functions: 整数类型
• score_async_functions: 浮点数类型
• count_documentation: 整数类型
• score_documentation: 浮点数类型

数据集划分

• train:
  • 数据量: 1372309个样本
  • 存储大小: 5712130489字节

数据集大小

• 下载大小: 2542489159字节
• 数据集总大小: 5712130489字节

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*