vikp/pypi_labeled

数据集pypi_labeled包含了从PyPI（Python包索引）获取的最新版本的包文件，主要提取了`md`、`rst`、`ipynb`和`py`文件。对这些文件进行了清洗处理，包括渲染笔记本文件、去除开头的注释和许可证信息。然后，根据代码的学习价值和质量进行了过滤和标记，以便用户可以根据这些列筛选出更高质量的代码。数据集的特征包括代码、包名、路径、文件名、解析后的代码、质量概率和学习概率。数据集分为训练集，包含1,902,405个样本，总大小为40,005,369,487字节。

原始信息汇总

数据集卡片 "pypi_labeled"

数据集信息

特征

• code: 字符串类型
• package: 字符串类型
• path: 字符串类型
• filename: 字符串类型
• parsed_code: 字符串类型
• quality_prob: 浮点数类型 (float64)
• learning_prob: 浮点数类型 (float64)

数据分割

• train:
  • 字节数: 40005369487
  • 样本数: 1902405

数据大小

• 下载大小: 11174800633
• 数据集大小: 40005369487

配置

• default:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据处理

• 提取了最新版本的每个包中的 md, rst, ipynb, 和 py 文件。
• 进行了以下清理操作：
  • 渲染笔记本文件
  • 移除前导注释/许可证
• 过滤了低质量代码，并根据学习价值和质量对剩余代码进行了标记。
• 通过这些列进行子集划分，以获取更高质量的代码。