vikp/pypi_raw

---
dataset_info:
features:
- name: code
dtype: string
- name: package
dtype: string
- name: path
dtype: string
- name: filename
dtype: string
splits:
- name: train
num_bytes: 42561764962
num_examples: 5978028
download_size: 12186040767
dataset_size: 42561764962
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Dataset Card for "pypi_raw"

All of the latest package versions from pypi. The original data came from [here](https://py-code.org/datasets). I pulled the latest versions of each package, then extracted only `md`, `rst`, `ipynb`, and `py` files. See other datasets for versions that have been cleaned and labeled.

原始信息汇总

数据集概述

数据集信息

• 特征列表：

  • code：字符串类型
  • package：字符串类型
  • path：字符串类型
  • filename：字符串类型

• 数据分割：

  • train：
    • 字节数：42561764962
    • 样本数：5978028

• 数据大小：

  • 下载大小：12186040767
  • 数据集大小：42561764962

配置信息

• 配置名称：default
  • 数据文件：
    • 分割：train
    • 路径：data/train-*