asure22/python_obfuscated_small_tokenized_ct5_small
收藏Hugging Face2024-04-04 更新2024-06-11 收录
下载链接：
https://hf-mirror.com/datasets/asure22/python_obfuscated_small_tokenized_ct5_small
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
features:
- name: repo
dtype: string
- name: path
dtype: string
- name: func_name
dtype: string
- name: original_string
dtype: string
- name: language
dtype: string
- name: code
dtype: string
- name: code_tokens
sequence: string
- name: docstring
dtype: string
- name: docstring_tokens
sequence: string
- name: sha
dtype: string
- name: url
dtype: string
- name: partition
dtype: string
- name: summary
dtype: string
- name: obf_code
dtype: string
- name: code_len
dtype: int64
- name: obf_code_len
dtype: int64
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 1412900276.8
num_examples: 24000
- name: test
num_bytes: 176612534.6
num_examples: 3000
- name: validation
num_bytes: 176612534.6
num_examples: 3000
download_size: 231249817
dataset_size: 1766125345.9999998
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
- split: validation
path: data/validation-*
---
提供机构：
asure22
原始信息汇总
数据集概述
数据集特征
- repo: 字符串类型
- path: 字符串类型
- func_name: 字符串类型
- original_string: 字符串类型
- language: 字符串类型
- code: 字符串类型
- code_tokens: 字符串序列类型
- docstring: 字符串类型
- docstring_tokens: 字符串序列类型
- sha: 字符串类型
- url: 字符串类型
- partition: 字符串类型
- summary: 字符串类型
- obf_code: 字符串类型
- code_len: 整数类型（64位）
- obf_code_len: 整数类型（64位）
- input_ids: 整数序列类型（32位）
- attention_mask: 整数序列类型（8位）
- labels: 整数序列类型（64位）
数据集分割
- 训练集: 24000个样本，大小为1412900276.8字节
- 测试集: 3000个样本，大小为176612534.6字节
- 验证集: 3000个样本，大小为176612534.6字节
数据集大小
- 下载大小: 231249817字节
- 数据集总大小: 1766125345.9999998字节
配置文件
- 默认配置:
- 训练集路径: data/train-*
- 测试集路径: data/test-*
- 验证集路径: data/validation-*
