ytzi/the-stack-dedup-python-filtered-docstrings

该数据集源自[bigcode/the-stack-dedup](https://huggingface.co/datasets/bigcode/the-stack-dedup)，并应用了一些过滤条件。数据集的特征包括代码仓库的元数据（如hexsha、size、ext、lang等）、代码仓库的统计信息（如max_stars_count、max_issues_count、max_forks_count等）、代码内容（如content、original_content）以及一些过滤标记（如filtered:remove_function_no_docstring、filtered:remove_class_no_docstring、filtered:remove_delete_markers）。数据集包含一个训练集，大小为102993877420字节，包含12760182个样本。

原始信息汇总

数据集概述

数据集配置

• 配置名称: main

数据集特征

• hexsha: 字符串类型
• size: 整数类型 (int64)
• ext: 字符串类型
• lang: 字符串类型
• max_stars_repo_path: 字符串类型
• max_stars_repo_name: 字符串类型
• max_stars_repo_head_hexsha: 字符串类型
• max_stars_repo_licenses: 字符串序列类型
• max_stars_count: 整数类型 (int64)
• max_stars_repo_stars_event_min_datetime: 字符串类型
• max_stars_repo_stars_event_max_datetime: 字符串类型
• max_issues_repo_path: 字符串类型
• max_issues_repo_name: 字符串类型
• max_issues_repo_head_hexsha: 字符串类型
• max_issues_repo_licenses: 字符串序列类型
• max_issues_count: 整数类型 (int64)
• max_issues_repo_issues_event_min_datetime: 字符串类型
• max_issues_repo_issues_event_max_datetime: 字符串类型
• max_forks_repo_path: 字符串类型
• max_forks_repo_name: 字符串类型
• max_forks_repo_head_hexsha: 字符串类型
• max_forks_repo_licenses: 字符串序列类型
• max_forks_count: 整数类型 (int64)
• max_forks_repo_forks_event_min_datetime: 字符串类型
• max_forks_repo_forks_event_max_datetime: 字符串类型
• content: 字符串类型
• avg_line_length: 浮点数类型 (float64)
• max_line_length: 整数类型 (int64)
• alphanum_fraction: 浮点数类型 (float64)
• original_content: 字符串类型
• filtered:remove_function_no_docstring: 整数类型 (int64)
• filtered:remove_class_no_docstring: 整数类型 (int64)
• filtered:remove_delete_markers: 整数类型 (int64)

数据集划分

• 训练集 (train):
  • 字节数: 102993877420
  • 示例数: 12760182

数据集大小

• 下载大小: 41011375194
• 数据集大小: 102993877420

数据集配置文件

• 配置名称: main
• 数据文件:
  • 划分: train
  • 路径: main/train-*

数据集过滤

• 过滤项:
  • remove_function_no_docstring
  • remove_class_no_docstring
  • remove_delete_markers