samaxr/code-summary-java-tokenizeddata
收藏资源简介：
--- dataset_info: features: - name: code dtype: string - name: summary dtype: string - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: labels sequence: int64 splits: - name: train num_bytes: 1122433656 num_examples: 285670 - name: validation num_bytes: 124575903 num_examples: 31741 - name: test num_bytes: 312658027 num_examples: 79352 download_size: 331045881 dataset_size: 1559667586 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* - split: test path: data/test-* ---
数据集信息： 特征字段： - 名称：代码(code)，数据类型：字符串 - 名称：摘要(summary)，数据类型：字符串 - 名称：输入标识(input_ids)，数据类型：32位整数序列 - 名称：注意力掩码(attention_mask)，数据类型：8位整数序列 - 名称：标签(labels)，数据类型：64位整数序列 数据集划分： - 划分名称：训练集(train)，字节数：1122433656，样本数量：285670 - 划分名称：验证集(validation)，字节数：124575903，样本数量：31741 - 划分名称：测试集(test)，字节数：312658027，样本数量：79352 下载总大小：331045881，数据集总存储大小：1559667586 配置组： - 配置名称：default，数据文件： - 划分：训练集(train)，路径：data/train-* - 划分：验证集(validation)，路径：data/validation-* - 划分：测试集(test)，路径：data/test-*
数据集概述
数据集特征
- code：字符串类型
- summary：字符串类型
- input_ids：整数序列，类型为int32
- attention_mask：整数序列，类型为int8
- labels：整数序列，类型为int64
数据集划分
- 训练集：
- 示例数量：285670
- 存储大小：1122433656字节
- 验证集：
- 示例数量：31741
- 存储大小：124575903字节
- 测试集：
- 示例数量：79352
- 存储大小：312658027字节
数据集大小
- 下载大小：331045881字节
- 总数据集大小：1559667586字节
数据文件配置
- 配置名称：default
- 数据文件路径：
- 训练集：data/train-*
- 验证集：data/validation-*
- 测试集：data/test-*
