samaxr/code-summary-java-tokenizeddata

---
dataset_info:
features:
- name: code
dtype: string
- name: summary
dtype: string
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 1122433656
num_examples: 285670
- name: validation
num_bytes: 124575903
num_examples: 31741
- name: test
num_bytes: 312658027
num_examples: 79352
download_size: 331045881
dataset_size: 1559667586
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

数据集信息：
特征字段：
- 名称：代码(code)，数据类型：字符串
- 名称：摘要(summary)，数据类型：字符串
- 名称：输入标识(input_ids)，数据类型：32位整数序列
- 名称：注意力掩码(attention_mask)，数据类型：8位整数序列
- 名称：标签(labels)，数据类型：64位整数序列
数据集划分：
- 划分名称：训练集(train)，字节数：1122433656，样本数量：285670
- 划分名称：验证集(validation)，字节数：124575903，样本数量：31741
- 划分名称：测试集(test)，字节数：312658027，样本数量：79352
下载总大小：331045881，数据集总存储大小：1559667586
配置组：
- 配置名称：default，数据文件：
- 划分：训练集(train)，路径：data/train-*
- 划分：验证集(validation)，路径：data/validation-*
- 划分：测试集(test)，路径：data/test-*

原始信息汇总

数据集概述

数据集特征

• code：字符串类型
• summary：字符串类型
• input_ids：整数序列，类型为int32
• attention_mask：整数序列，类型为int8
• labels：整数序列，类型为int64

数据集划分

• 训练集：
  • 示例数量：285670
  • 存储大小：1122433656字节
• 验证集：
  • 示例数量：31741
  • 存储大小：124575903字节
• 测试集：
  • 示例数量：79352
  • 存储大小：312658027字节

数据集大小

• 下载大小：331045881字节
• 总数据集大小：1559667586字节

数据文件配置

• 配置名称：default
• 数据文件路径：
  • 训练集：data/train-*
  • 验证集：data/validation-*
  • 测试集：data/test-*