ytzi/the-stack-dedup-python-filtered-all

该数据集源自[bigcode/the-stack-dedup](https://huggingface.co/datasets/bigcode/the-stack-dedup)，并应用了一系列过滤器。这些过滤器包括移除非ASCII字符、装饰器、异步代码、类、生成器、无文档字符串的函数、无文档字符串的类、未使用的导入和删除标记。数据集包含多个特征字段，如hexsha、size、ext、lang等，并且有一个名为train的数据分割，包含10643417个样本，总大小为84730507708字节。

原始信息汇总

数据集概述

数据集配置

• 配置名称: main

数据集特征

• hexsha: 字符串类型
• size: 整数类型（int64）
• ext: 字符串类型
• lang: 字符串类型
• max_stars_repo_path: 字符串类型
• max_stars_repo_name: 字符串类型
• max_stars_repo_head_hexsha: 字符串类型
• max_stars_repo_licenses: 字符串序列类型
• max_stars_count: 整数类型（int64）
• max_stars_repo_stars_event_min_datetime: 字符串类型
• max_stars_repo_stars_event_max_datetime: 字符串类型
• max_issues_repo_path: 字符串类型
• max_issues_repo_name: 字符串类型
• max_issues_repo_head_hexsha: 字符串类型
• max_issues_repo_licenses: 字符串序列类型
• max_issues_count: 整数类型（int64）
• max_issues_repo_issues_event_min_datetime: 字符串类型
• max_issues_repo_issues_event_max_datetime: 字符串类型
• max_forks_repo_path: 字符串类型
• max_forks_repo_name: 字符串类型
• max_forks_repo_head_hexsha: 字符串类型
• max_forks_repo_licenses: 字符串序列类型
• max_forks_count: 整数类型（int64）
• max_forks_repo_forks_event_min_datetime: 字符串类型
• max_forks_repo_forks_event_max_datetime: 字符串类型
• content: 字符串类型
• avg_line_length: 浮点数类型（float64）
• max_line_length: 整数类型（int64）
• alphanum_fraction: 浮点数类型（float64）
• original_content: 字符串类型
• filtered:remove_non_ascii: 整数类型（int64）
• filtered:remove_decorators: 整数类型（int64）
• filtered:remove_async: 整数类型（int64）
• filtered:remove_classes: 整数类型（int64）
• filtered:remove_generators: 整数类型（int64）
• filtered:remove_function_no_docstring: 整数类型（int64）
• filtered:remove_class_no_docstring: 整数类型（int64）
• filtered:remove_unused_imports: 整数类型（int64）
• filtered:remove_delete_markers: 整数类型（int64）

数据集分割

• 训练集:
  • 名称: train
  • 字节数: 84730507708
  • 示例数: 10643417

数据集大小

• 下载大小: 33891517718
• 数据集大小: 84730507708

数据集配置文件

• 配置名称: main
• 数据文件:
  • 分割: train
  • 路径: main/train-*

数据集过滤

• 过滤器:
  • remove_non_ascii
  • remove_decorators
  • remove_async
  • remove_classes
  • remove_generators
  • remove_function_no_docstring
  • remove_class_no_docstring
  • remove_unused_imports
  • remove_delete_markers